Cos'è la quantizzazione di un modello AI
Un modello è fatto di moltissimi numeri, i pesi. Di solito ognuno è salvato con tante cifre decimali. La quantizzazione li arrotonda: è un po' come passare da una foto ad altissima risoluzione a una versione compressa. A occhio la differenza si vede poco, ma il file è molto più piccolo.
Per chi vuole usare l'AI in locale è un passaggio quasi obbligato. I modelli aperti si trovano già pubblicati in più versioni, dalla più fedele alla più compressa. Più si comprime, più aumenta il rischio di risposte imprecise, soprattutto su calcoli, lingue meno diffuse e istruzioni lunghe.
Un esempio in una PMI
Un'officina vuole un assistente interno che risponda sulle schede tecniche, senza connessione esterna. Il modello scelto nella versione piena non entra nella memoria del PC dell'ufficio. Luca prova la versione quantizzata: entra, risponde in pochi secondi e sulle domande tipiche dei meccanici sbaglia raramente. Tiene quella.
Gli errori più comuni
- Scegliere sempre la versione più compressa per risparmiare memoria senza provare la qualità.
- Confrontare un modello quantizzato con la versione online piena e giudicare il modello da quel confronto.
- Dimenticare che anche il contesto lungo occupa memoria, oltre ai pesi.
Perché ti interessa
Se qualcuno ti propone un assistente che gira sui tuoi computer, chiedi quale versione del modello usa e come l'ha provata. La risposta ti dice molto su quanto il progetto è stato pensato.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
La quantizzazione rende il modello meno sicuro?
Non lo rende meno sicuro dal punto di vista dei dati. Può renderlo meno preciso, quindi va controllato sui compiti reali.
Si può quantizzare un modello come ChatGPT?
No, perché i suoi pesi non sono pubblici. Si quantizzano i modelli open weight, che puoi scaricare e far girare in casa.
Da leggere dopo
Cos'è l'AI in locale e quando conviene tenerla in casa
Usare l'AI in locale significa far girare il modello su computer o server dell'azienda, invece che usarlo attraverso il servizio cloud di un fornitore, così che i dati restino dentro l'azienda.
GlossarioCos'è un modello open weight e cosa lo distingue
Un modello open weight è un modello di AI i cui pesi, cioè i parametri imparati durante l'addestramento, sono scaricabili, così che chiunque possa farlo girare sui propri computer.
GlossarioCos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
GlossarioCosa sono i parametri di un modello AI
I parametri sono i numeri interni che un modello regola durante l'addestramento e che poi usa per produrre le risposte. I pesi sono la parte principale di questi parametri. Insieme rappresentano tutto quello che il modello ha imparato dai dati.
GlossarioCos'è un modello linguistico piccolo (SLM)
Un modello linguistico piccolo, o SLM, è un modello di linguaggio con molti meno parametri dei grandi modelli di punta. Sa fare meno cose, ma le fa in fretta, costa poco e spesso gira su un computer normale, anche dentro l'azienda senza mandare dati all'esterno.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.