Cos'è l'elaborazione batch (Batch API) nell'AI
Non tutto deve avere una risposta immediata. Classificare l'archivio delle mail, riscrivere le descrizioni del catalogo, estrarre dati da migliaia di documenti: sono lavori che possono girare di notte. Con l'elaborazione batch prepari un file con tutte le richieste, lo invii, e il fornitore le esegue quando ha capacità libera.
Il vantaggio è doppio: costa meno e non consuma i limiti delle richieste immediate. Lo svantaggio è che non sai esattamente quando arrivano i risultati, quindi non va bene per chat o risposte ai clienti. Gli sconti e i tempi massimi di consegna li stabilisce ogni fornitore nel proprio listino.
Un esempio in una PMI
Un distributore di ricambi deve tradurre e uniformare migliaia di descrizioni prodotto. Invece di mandarle una a una durante il giorno, Elisa prepara un unico invio batch il venerdì sera. Il lunedì mattina trova tutto pronto, con una spesa più bassa, e dedica la settimana a controllare a campione le traduzioni.
Gli errori più comuni
- Usare richieste immediate per lavori che nessuno aspetta, pagando di più.
- Mandare tutto il batch senza provare prima il prompt su un piccolo campione.
- Non prevedere cosa fare con le richieste del batch che falliscono.
Perché ti interessa
Se hai grandi lavori ripetitivi che non sono urgenti, il batch riduce il conto senza cambiare la qualità. È una delle prime domande da fare a chi ti propone un progetto a consumo.
Tutte le parole dell'AI spiegate semplici sono nel glossario.
Domande frequenti
La qualità del batch è diversa?
No, il modello è lo stesso. Cambiano solo i tempi di consegna e il prezzo.
Posso usare il batch con un abbonamento?
No, è una funzione delle API a consumo. Con gli abbonamenti si lavora in modo interattivo.
Da leggere dopo
Cos'è un'API e perché serve per collegare l'AI ai tuoi programmi
Un'API è un'interfaccia che permette a un programma di usare i servizi di un altro in modo automatico, per esempio mandare un testo a un modello di AI e ricevere la risposta senza passare dalla chat.
GlossarioCos'è un token nell'AI e perché decide quanto paghi
Un token è il pezzo di testo con cui un modello linguistico legge e scrive: può essere una parola intera, una parte di parola o un segno di punteggiatura.
GlossarioCos'è il rate limit delle API di AI
Il rate limit è il tetto che un fornitore di AI impone a quante richieste o quanti token puoi usare in un certo intervallo di tempo. Superato il limite, le richieste vengono rifiutate o messe in attesa finché la finestra non si libera.
GlossarioCos'è il prompt caching e quanto fa risparmiare
Il prompt caching è una funzione delle API dei modelli che memorizza la parte iniziale di un prompt usata spesso, come istruzioni fisse o un documento lungo, così le richieste successive con lo stesso inizio costano meno e rispondono più in fretta.
GlossarioCos'è l'inferenza nell'AI e perché decide i costi
L'inferenza è il momento in cui un modello di AI già addestrato viene usato: riceve una richiesta, la elabora e produce una risposta. È la fase che si ripete a ogni domanda e che, nei servizi a consumo, si paga ogni volta.
Vuoi capire cosa serve davvero alla tua azienda, senza gergo? Parliamone.
Testi e grafica realizzati con il supporto dell'AI. Metodo e contenuti sono di AIR.