Microsoft insegna ai piccoli modelli a ragionare con formazione strategica e dati sintetici filtrati

MADRID, 21 novembre (Portaltic/PE) –

Microsoft ha presentato Orca 2 UN modello linguistico piccolo che raggiunge capacità di ragionamento paragonabili a quelle di grandi modelli, frutto di un training strategico con dati sintetici personalizzati.

L’azienda tecnologica sta lavorando su come insegnare a ragionare ai modelli linguistici più piccoli, quelli che hanno 10 miliardi di parametri o meno. Lo ha fatto per la prima volta con Orca, un modello da 13 miliardi di parametri introdotto a giugno che imitava il processo di ragionamento dei modelli di grandi dimensioni.

Ora lo fa con la prossima iterazione, Orca 2, che è disponibile con 7 miliardi di parametri ovvero 13 miliardi. Si basa sul modello base Llama 2 – che Microsoft ha sviluppato con Meta -, basato su dati sintetici personalizzati.

Modelli di grandi dimensioni, come GPT-4 o PaLm, mostrano la loro capacità di ragionare”rispondere a domande complesse, generare spiegazioni e persino risolvere problemi che richiedono un ragionamento in più fasi“; una capacità che, secondo Microsoft, “non è stata osservata nei modelli linguistici più piccoli”, come affermato nel suo blog di ricerca.

L’azienda tecnologica ha addestrato Orca 2 con l’approccio secondo cui le strategie di soluzione utilizzate dai modelli di grandi dimensioni potrebbero non essere l’opzione migliore per quelli più piccoli. Per questo motivo, ha utilizzaton set di dati sintetici “accuratamente filtrati”. con cui ha insegnato Orca 2 varie tecniche di ragionamento E strategie diverse per risolvere compiti diversi.

Dopo aver valutato le prestazioni di questo modello su compiti complessi, Microsoft afferma che “Orca 2 supera significativamente i modelli di dimensioni simili (incluso il modello Orca originale) e raggiunge livelli di prestazioni simili o migliori rispetto ai modelli da cinque a dieci volte più grandi.”

“Poiché i modelli più grandi continuano ad eccellere, il nostro lavoro con Orca 2 segna un passo avanti significativo diversificazione delle applicazioni e opzioni di implementazione dei modelli linguistici“conclude.