MADRID, 25 giugno (Portaltic/PE) –
Grandi modelli linguistici (L.L.M.per il suo acronimo in inglese) richiedono una grande quantità di elaborazione ed energia per essere eseguiti, il che ne limita l’implementazione su dispositivi con funzionalità più limitate, come i telefoni cellulari.
Qualcomm risolve questo problema con quantificazione del LLMuna tecnica che, come spiega, viene utilizzata “per ridurre la precisione dei numeri utilizzati nei calcoli, il che a sua volta diminuisce la dimensione del modello e le risorse necessarie per eseguirlo”.
“Al ridurre le dimensioni e le esigenze computazionali dei LLM, le applicazioni AI possono diventare più accessibili e funzionare in modo efficiente su una gamma più ampia di dispositivi, dagli smartphone ai dispositivi IoT,” ha affermato Mart van, ingegnere, staff/manager senior, Qualcomm Technologies Netherlands BV. Baalen e Senior Director of Software Engineering presso Qualcomm Technologies, Inc., Abhijit Khobare.
Tra le diverse tecniche incluse nella quantificazione, i ricercatori evidenziano la quantizzazione vettoriale, perché porta a compressione più efficiente e minore perdita di informazioni optando per la distribuzione congiunta dei parametri invece di quantificare ciascun parametro in modo indipendente.
Gli sviluppatori possono accedere a queste tecniche con Kit di strumenti per l’efficienza dei modelli IA, una libreria che offre tecniche di quantificazione e comprensione dei modelli per la formazione e entro Hub AI di Qualcommche conta già più di cento modelli ottimizzati, sebbene consenta anche l’utilizzo di modelli propri.
Quest’ultimo consente, come novità, eseguire i modelli sui dispositivi che integrano Snapdragon X Elite, un processore Qualcomm progettato per computer con la capacità di eseguire modelli di intelligenza artificiale generativa con oltre 13 miliardi di parametri. È compatibile con Facebook Denoiser, Llama2, OpenAI Clip, Riffusion, Stable Diffusion v2.1 e Whisper, tra gli altri.
Bocca di leone computer progettati per l’era dell’IAcome i PC Copilot+ basati su Microsoft Windows.
