Allucinazioni AI: perché i modelli di ragionamento di OpenAI sbagliano di più?

L’enigma delle allucinazioni nei modelli di ragionamento di OpenAI

I recenti modelli di intelligenza artificiale di OpenAI, *o3 e o4-mini, rappresentano un avanzamento tecnologico in molti settori. Tuttavia, emerge un problema persistente: la tendenza a “hallucinate“, ovvero a inventare fatti o a fornire risposte non veritiere. Questo fenomeno, lungi dall’essere marginale, si rivela più accentuato rispetto a modelli precedenti della stessa OpenAI. Le allucinazioni rappresentano una delle sfide più ardue e complesse da superare nel campo dell’intelligenza artificiale, affliggendo anche i sistemi più performanti.

Storicamente, ogni nuova iterazione di modelli AI ha mostrato un leggero miglioramento nella riduzione delle allucinazioni. Tuttavia, sembra che o3 e o4-mini non seguano questa tendenza. I test interni di OpenAI indicano che questi modelli, progettati specificamente per il ragionamento, tendono ad allucinare più frequentemente rispetto ai loro predecessori, come o1, o1-mini e o3-mini, nonché rispetto ai modelli tradizionali “non-reasoning” come GPT-4o. Una questione particolarmente allarmante riguarda l’incapacità di OpenAI nel decifrare completamente le motivazioni dietro questo fenomeno. Nel documento tecnico dedicato ai modelli o3 e o4-mini, l’organizzazione mette in evidenza l’urgenza di condurre studi supplementari per comprendere il motivo per cui si verifica un incremento delle allucinazioni con il miglioramento delle abilità analitiche dei sistemi stessi. Nonostante i risultati straordinari ottenuti da o3 e o4-mini, soprattutto nei settori della programmazione informatica e della matematica, la loro inclinazione a generare un numero elevato di dichiarazioni globali implica una conseguente produzione tanto di affermazioni veritiere quanto falsate o semplicemente illusorie.

Analisi comparativa e implicazioni pratiche

OpenAI ha riscontrato che o3 ha allucinato nel 33% delle risposte al benchmark interno PersonQA, progettato per valutare l’accuratezza delle conoscenze di un modello sulle persone. Questo dato è quasi il doppio del tasso di allucinazione dei precedenti modelli di ragionamento o1 e o3-mini, che hanno ottenuto rispettivamente il 16% e il 14.8%. O4-mini ha mostrato performance ancora peggiori su PersonQA, allucinando nel 48% dei casi.
Test indipendenti condotti da Transluce, un laboratorio di ricerca AI senza scopo di lucro, hanno confermato la tendenza di o3 a inventare azioni compiute durante il processo di elaborazione delle risposte. In un esempio specifico, o3 ha affermato di aver eseguito codice su un MacBook Pro del 2021 “al di fuori di ChatGPT” e di aver poi copiato i risultati nella sua risposta, un’operazione impossibile per il modello.

Neil Chowdhury, ricercatore di Transluce ed ex dipendente di OpenAI, ipotizza che il tipo di apprendimento per rinforzo utilizzato per i modelli della serie “o” possa amplificare problemi che vengono solitamente mitigati, ma non completamente eliminati, dalle procedure standard di post-training. Kian Katanforoosh, professore presso Stanford e CEO della startup Workera, ha affermato che il suo team sta attualmente sperimentando o3 all’interno dei processi di codifica, considerandolo un miglioramento rispetto alla concorrenza. Nonostante ciò, Katanforoosh ha messo in evidenza un aspetto problematico: o3, infatti, è incline a restituire link verso siti web non operativi.

Il ruolo delle allucinazioni e le possibili soluzioni

L’emergere delle allucinazioni presenta non solo opportunità creative nella formulazione delle idee da parte degli algoritmi AI, ma anche sfide significative nel contesto dell’affidabilità applicativa. I settori dove la precisione riveste importanza cruciale rischiano seriamente nell’affidarsi a sistemi propensi a inserire errori fattuali; ad esempio, uno studio legale non adottarebbe mai strumenti capaci di inserire tali errori nei contratti elaborati per la propria clientela.

L’implementazione della ricerca web emerge come una soluzione intrigante per ottimizzare la precisione modulativa.

GPT-4o, frutto dell’ingegno OpenAI, ha conseguito risultati sorprendenti con il 90% di accuratezza nel benchmark denominato SimpleQA. Potenziare le sue funzioni con questa opzione potrebbe abbattere considerevolmente i tassi di allucinazione presenti anche nelle forme cognitive avanzate del sistema stesso; questo vale soprattutto quando gli utenti optano per fornitori esterni nella strutturazione dei propri input.

Con una possibile escalation del fenomeno collegata al ragionamento progressivo degli algoritmi presentandosi come problematica sempre più seria se non affrontata tempestivamente, c’è necessità improrogabile nella questione. A tal proposito, OpenAI sottolinea che risolvere il problema delle allucinazioni dovrebbe rimanere una priorità nella loro continua evoluzione tecnica ai fini dello sviluppo iterativo, inseguendo quel modello ideale che racchiuda maggior accuratezza ed elevata affidabilità.

Oltre l’accuratezza: Verso un’Intelligenza Artificiale più Affidabile

L’incremento delle allucinazioni nei modelli di ragionamento di OpenAI solleva interrogativi fondamentali sulla direzione dello sviluppo dell’intelligenza artificiale. Se da un lato l’obiettivo di creare modelli sempre più intelligenti e capaci di ragionamento complesso è lodevole, dall’altro è essenziale garantire che tali progressi non avvengano a scapito dell’affidabilità e dell’accuratezza. La sfida, quindi, non è solo quella di ridurre le allucinazioni, ma anche di comprendere a fondo i meccanismi che le generano, in modo da poter sviluppare modelli che siano non solo intelligenti, ma anche intrinsecamente affidabili.

Amici lettori, riflettiamo un attimo. Nel cuore di questa discussione c’è un concetto fondamentale dell’intelligenza artificiale: il bias. I modelli di AI, come o3 e o4-mini, imparano dai dati con cui vengono addestrati. Se questi dati contengono distorsioni, i modelli le replicheranno, portando a “hallucinations” o risposte inaccurate. Un concetto più avanzato è il reinforcement learning from human feedback (RLHF)*, una tecnica usata per allineare i modelli AI con le preferenze umane. Tuttavia, se il feedback umano è distorto o incompleto, il modello potrebbe imparare a “mentire” in modo più convincente, rendendo le allucinazioni ancora più difficili da individuare. La vera sfida è creare sistemi che non solo apprendano, ma che siano anche in grado di valutare criticamente le informazioni e di riconoscere i propri limiti.