Microsoft ha presentato Orca 2, un piccolo modello linguistico che raggiunge capacità di ragionamento paragonabili a quelle dei grandi modelli, frutto di un training strategico con dati sintetici personalizzati.
L’azienda tecnologica sta lavorando su come insegnare a ragionare ai modelli linguistici più piccoli, quelli che hanno 10 miliardi di parametri o meno. Lo ha fatto per la prima volta con Orca, un modello da 13 miliardi di parametri introdotto a giugno che imitava il processo di ragionamento dei modelli di grandi dimensioni.
Ora lo fa con la prossima iterazione, Orca 2, che è disponibile con 7 miliardi di parametri ovvero 13 miliardi. Si basa sul modello base Llama 2 – che Microsoft ha sviluppato con Meta -, basato su dati sintetici personalizzati.
Modelli di grandi dimensioni, come GPT-4 o PaLm, mostrano la loro capacità di ragionare “rispondendo a domande complesse, generando spiegazioni e persino risolvendo problemi che richiedono un ragionamento in più fasi”; una capacità che, secondo Microsoft, “non è stata osservata nei modelli linguistici più piccoli”, come si legge nel suo blog di ricerca.
--L’azienda tecnologica ha addestrato Orca 2 con l’approccio secondo cui le strategie di soluzione utilizzate dai modelli di grandi dimensioni potrebbero non essere l’opzione migliore per quelli più piccoli. Per questo motivo ha utilizzato un set di dati sintetici “accuratamente filtrati” con cui ha insegnato a Orca 2 varie tecniche di ragionamento e diverse strategie per risolvere diversi compiti.
Dopo aver valutato le prestazioni di questo modello su compiti complessi, Microsoft afferma che “Orca 2 supera significativamente i modelli di dimensioni simili (incluso il modello Orca originale) e raggiunge livelli di prestazioni simili o migliori rispetto ai modelli da cinque a dieci volte più grandi.”
“Poiché i modelli più grandi continuano a eccellere, il nostro lavoro con Orca 2 segna un passo significativo nella diversificazione delle applicazioni e delle opzioni di implementazione dei modelli linguistici”, conclude.
