ChatGPT sempre più stupida?
Uno studio condotto da ricercatori delle università di Stanford e UC Berkeley conferma che GPT sia stata, volotariamente o meno, lobotomizzata
Quando ChatGPT ha fatto il suo debutto l’anno scorso, ha catturato l’attenzione di tutti per la sua straordinaria abilità nel simulare conversazioni umane. Questa novità ha spinto molte aziende a saltare sul carrozzone della tecnologia emergente. Tuttavia, una recente ricerca suggerisce che il chatbot possa non essere all’altezza delle aspettative. La sua efficienza sembra essere in calo.
Analisi della Performance di ChatGPT
Uno studio condotto da ricercatori delle università di Stanford e UC Berkeley ha messo sotto esame diverse versioni di ChatGPT, valutandone l’efficienza tra marzo e giugno 2022. Hanno creato benchmark per valutarne la competenza in matematica, programmazione e ragionamento visivo. I risultati? Non proprio lusinghieri.
In marzo, ChatGPT ha brillato risolvendo con successo 488 su 500 problemi matematici, vanta una precisione del 97,6%. Ma entro giugno, la sua precisione era precipitata al 2,4%, risolvendo solo 12 problemi. Un calo significativo nella capacità del chatbot che ha preoccupato molti nell’ambito della ricerca.
La ricerca ha rilevato una significativa diminuzione della capacità di generare codice eseguibile da parte del modello. In particolare, la percentuale di codice generato che era eseguibile è scesa dal 52,0% di marzo al 10,0% di giugno. E questi test sono stati effettuati senza l’intervento di plug-in esterni che potrebbero alterare i risultati.
Possibili Motivazioni del Declino
Ma cosa sta causando questo declino? Gli studiosi ritengono che le recenti ottimizzazioni di OpenAI potrebbero aver avuto un effetto collaterale sulla capacità di ChatGPT. Per esempio, le modifiche apportate per rendere il bot più sicuro potrebbero aver compromesso le sue altre funzionalità. Ciò ha portato il modello a fornire risposte più verbose e meno dirette.
Santiago Valderrama, un esperto in intelligenza artificiale, ha espresso su Twitter la sua preoccupazione, sottolineando che “GPT-4 sta peggiorando nel tempo“. Ha suggerito che l’adozione di modelli GPT-4 più piccoli e specializzati, meno costosi ma più rapidi, potrebbe essere la causa del calo delle prestazioni.
Anche il Dr. Jim Fan ha offerto una sua interpretazione, ipotizzando che OpenAI possa aver prioritizzato la sicurezza su altre funzionalità del modello. Sospetta che OpenAI potrebbe aver dedicato troppo tempo ad adeguarsi alle esigenze di sicurezza, trascurando di perfezionare altre capacità essenziali del bot.
Verso il Futuro, la concorrenza a chat GPT
Molti utenti hanno espresso delusione per la riduzione della coerenza di ChatGPT. Per garantire che la qualità non subisca ulteriori cali, alcuni propongono l’adozione di modelli open source come LLaMA di Meta, che consentirebbe una maggiore trasparenza e la possibilità di correzione da parte della comunità.
In conclusione, mentre ChatGPT ha avuto un inizio luminoso, attualmente si trova di fronte a delle sfide. La domanda che sorge spontanea è: sarà questo un destino inevitabile per tutte le superstar dell’IA nel corso del tempo?