ChatGPT fa schifo a fare i calcoli

Come da titolo, ChatGPT fa schifo a fare i calcoli, fa schifo, insomma, con la matematica.

E i motivi sono molto interessanti.

Il principale è la cosiddetta tokenizzazione. Questo processo divide i dati in blocchi e, sebbene sia utile per la gestione di grandi quantità di informazioni linguistiche, spesso frammenterebbe i numeri, rendendo difficile per il modello gestirli correttamente. Per fare un esempio pratico, e citando l’articolo, la tokenizzazione potrebbe suddividere il numero “381” in due parti separate (“38” e “1”), creando confusione nel trattamento matematico.

Tuttavia, la tokenizzazione non sarebbe l’unico fattore.

ChatGPT e colleghi sono, in sostanza, macchine statistiche: basandosi su enormi quantità di dati, imparano schemi e modelli presenti nei testi per fare previsioni. Non creano testi dal nulla, e questo approccio possiede dei limiti oggettivi. Quando si tratta di operazioni aritmetiche, ad esempio, ChatGPT non seguirebbe un processo matematico rigoroso; piuttosto, tenterebbe di indovinare la risposta sulla base dei modelli linguistici appresi, sulla base di quante volte ha già visto la risposta a quel quesito. E se non l’ha vista – probabile, con le operazioni – sono dolori.

Yuntian Deng, professore di intelligenza artificiale presso l’Università di Waterloo, avrebbe recentemente testato le capacità di moltiplicazione di ChatGPT, rilevando che il modello base, GPT-4o, avrebbe difficoltà con moltiplicazioni di numeri superiori alle quattro cifre. Secondo Deng, il tasso di accuratezza scenderebbe sotto il 30% per calcoli più complessi, poiché qualsiasi errore in un passaggio intermedio tenderebbe (come nei migliori compiti di matematica del liceo) a propagarsi, compromettendo il risultato finale.

Quindi, le AI non impareranno mai la matematica? Non è detto.

La stessa ricerca di Deng avrebbe testato un modello avanzato di OpenAI, chiamato “o1”, progettato per migliorare le capacità di ragionamento passo-passo di ChatGPT. Questo modello, che elaborerebbe i problemi in maniera più simile a come farebbe un umano, si sarebbe dimostrato notevolmente più preciso, risolvendo correttamente moltiplicazioni fino a nove cifre circa la metà delle volte. Non sufficiente, per ora, per poterlo usare, ma è pur sempre qualcosa di meglio.

Insomma, secondo Deng, i progressi recenti mostrerebbero che almeno alcuni tipi di problemi matematici, come le moltiplicazioni complesse, potrebbero un giorno venire completamente risolti da modelli generativi come ChatGPT. Fino ad allora, meglio non chiedergli quanto fa un’operazione più complessa di 2×2.

8 ottobre 2024

Fonte: TechCrunch.