Uno degli ingredienti chiave che hanno reso ChatGPT un successo travolgente è stato un esercito di formatori umani che hanno guidato il modello di intelligenza artificiale dietro il bot su ciò che costituiva una risposta positiva e negativa. OpenAI ora sostiene che aggiungere ancora più IA al mix (per assistere gli addestratori umani) potrebbe contribuire a rendere gli assistenti IA più intelligenti e affidabili.
Prima venne l’intelligenza umana
Nello sviluppo di ChatGPT, OpenAI ha aperto la strada all’uso dell’apprendimento per rinforzo con feedback umano, o RLHF. Questa tecnica utilizza il contributo di valutatori umani per mettere a punto un modello di intelligenza artificiale in modo che il suo risultato sia più coerente, meno spiacevole e più accurato. Le valutazioni dei formatori alimentano un algoritmo che dirige il comportamento del modello. La tecnica si è rivelata fondamentale sia nella realizzazione del chatbot essere più affidabili e utili per evitare che si comportino male.
“RLHF funziona molto bene, ma presenta alcune limitazioni importanti”, afferma Nat McAleese, un ricercatore OpenAI coinvolto nel nuovo lavoro. Per prima cosa, la risposta umana può essere incoerente. D’altro canto può essere difficile, anche per persone qualificate, valutare risultati estremamente complessi, come ad esempio codici sofisticati. Software. Il processo può anche ottimizzare un modello per produrre risultati che sembrano convincenti piuttosto che effettivamente accurati.
GPT-4
OpenAI ha sviluppato un nuovo modello adattando la sua offerta più potente, GPT-4, per aiutare i formatori umani incaricati di valutare il codice. L’azienda ha scoperto che il nuovo modello, denominato CriticGPT, è in grado di rilevare bug che gli umani non hanno notato e che i giudici umani hanno giudicato migliori le sue critiche al codice il 63% delle volte. In futuro, OpenAI esplorerà l’espansione dell’approccio ad aree diverse dal codice.
“Stiamo iniziando a lavorare per integrare questa tecnica nel nostro stack di chat RLHF”, spiega McAleese. Nota che l’approccio è imperfetto, poiché CriticGPT può anche commettere errori durante le allucinazioni, ma aggiunge che la tecnica potrebbe aiutare a rendere i modelli OpenAI, così come strumenti come ChatGPT, più accurati riducendo gli errori nell’addestramento umano. Aggiunge che potrebbe anche rivelarsi cruciale per contribuire a rendere i modelli di intelligenza artificiale molto più intelligenti, perché potrebbe consentire agli esseri umani di aiutare ad addestrare un’intelligenza artificiale oltre le sue stesse capacità: “E poiché i modelli continuano a migliorare, sospettiamo che le persone avranno bisogno di più aiuto”, secondo McAleese.
La nuova tecnica è una delle tante sviluppate per migliorare i modelli linguistici di grandi dimensioni e trarne il massimo. Fa anche parte dello sforzo per garantire che l’intelligenza artificiale si comporti in modo accettabile man mano che le sue capacità aumentano.
All’inizio di questo mese, Anthropic, un rivale di OpenAI fondato da ex dipendenti di OpenAI, ha annunciato una propria versione più potente chatbot, denominato Claude, grazie al miglioramento del regime di addestramento del modello e dei dati ad esso forniti. Anthropic e OpenAI hanno recentemente introdotto anche nuovi modi per ispezionare i modelli di intelligenza artificiale per capire come arrivano ai risultati ed evitare così comportamenti indesiderati come l’inganno.
