Intelligenza Artificiale (AI), Introduzione ai: LLM Large Language Models. Cosa sono? Oggi impariamo cosa sono i LLM o Large Language Models
Intelligenza Artificiale (AI): Una Guida ai Large Language Models (LLM). Che cosa sono? Esploriamo oggi il significato di LLM, o Modelli Linguistici su Vasta Scala.
I Large Language Models (LLM), o Modelli Linguistici su Vasta Scala, rappresentano una branca del deep learning e si sovrappongono all’AI generativa, quella tecnologia capace di generare contenuti inediti come testi, immagini e suoni.
Si tratta di modelli general-purpose, inizialmente addestrati su dataset massicci (parliamo di petabyte) utilizzando miliardi di parametri, che incarnano la conoscenza acquisita.
Vengono sottoposti a un pre-addestramento per attività linguistiche generiche, seguito da un processo di perfezionamento (fine-tuning) mediante dataset più contenuti, al fine di affrontare problematiche specifiche in vari settori.
Il beneficio chiave risiede nella capacità di un unico modello di affrontare molteplici attività – quali traduzione, classificazione testuale e generazione di risposte – necessitando solo una quantità limitata di dati per l’adattamento (approcci few-shot o zero-shot). Gli LLM poggiano quasi interamente sull’architettura dei modelli Transformer.
Lavorare con LLM pre-addestrati risulta più accessibile rispetto allo sviluppo ML convenzionale; non sono richieste competenze specialistiche né l’addestramento da zero, ma l’attenzione si sposta sulla progettazione dei prompt (prompt design). Questo consiste nel formulare istruzioni chiare e sintetiche per il compito desiderato.
Il prompt engineering è un concetto più avanzato, mirato a ottimizzare le prestazioni. Si distinguono diverse categorie di LLM: generici (simili a funzioni di autocompletamento), ottimizzati per istruzioni (capaci di seguire comandi specifici) e ottimizzati per il dialogo (addestrati per la conversazione, impiegati nei chatbot).
L’ottimizzazione (tuning) è essenziale per adeguare le risposte del modello. Tecniche efficienti, note come PETM, consentono di adattare i modelli a dati specifici senza ricorrere al costoso fine-tuning completo.
Google Cloud mette a disposizione strumenti come Vertex AI Studio, per l’esplorazione e personalizzazione dei modelli, e Vertex AI Agent Builder, per creare applicazioni generative con minimo codice. Gemini è un esempio di modello multimodale di Google, in grado di processare testo, immagini, audio e codice.
Large Language Models… Che cosa rappresentano?
Oggi affronteremo il tema dei Large Language Models. Sono Riccardo Grassi, CEO di Mare Consulting, esperto di marketing digitale, ingegnere e appassionato di innovazione.
Grazie a questo percorso formativo, acquisirai le capacità per:
- Definire l’essenza dei Large Language Models.
- Delineare i principali ambiti applicativi degli LLM.
- Chiarire il concetto di prompt tuning.
- Presentare gli strumenti di sviluppo offerti da Google per l’AI generativa.
Procediamo: troverai dapprima una sintesi, seguita dall’esposizione dettagliata!
I Large Language Models (LLM) si collocano come una sottodisciplina del deep learning. (Per un approfondimento sul deep learning, si rimanda al nostro video introduttivo sulla Generative AI).
LLM e AI generativa sono interconnessi e appartengono entrambi al dominio del deep learning. Un’altra area dell’AI di cui avrai sicuramente sentito parlare è proprio la Generative AI. Questa si riferisce a un tipo di intelligenza artificiale in grado di produrre contenuti inediti — come testi, immagini, audio e dati sintetici.
Cosa sono i Large Language Models? Si tratta di modelli linguistici su larga scala, concepiti per applicazioni generali, che possono essere pre-addestrati e successivamente specializzati per compiti mirati.
Cosa implicano i termini pre-addestrato e specializzato? Per illustrare meglio questi concetti, pensiamo all’addestramento di un cane. Gli si insegnano i comandi fondamentali: “seduto”, “vieni”, “terra”, “resta”.
Questi comandi sono generalmente adeguati per la vita quotidiana e contribuiscono a rendere il cane un “buon compagno”. Ottimo lavoro, Fido! Tuttavia, se si desidera un cane per servizi specifici — come cane poliziotto, guida o da caccia — è necessario un addestramento aggiuntivo e specifico. Lo stesso principio si applica ai Large Language Models.
Vengono addestrati per compiti generali come:
- classificazione di testi,
- risposta a domande,
- riassunto di documenti,
- generazione di testi.
In seguito, vengono personalizzati utilizzando dataset più piccoli per ambiti specifici come il commercio al dettaglio, la finanza o l’intrattenimento.
Le 3 Proprietà Fondamentali dei Large Language Models:
-
“Large” (Su Vasta Scala) Indica:
- Dataset di addestramento di dimensioni imponenti (scala petabyte: ovvero -> 1 000 000 000 000 000).
- Un numero elevatissimo di parametri (la “conoscenza” appresa dal modello).
-
Uso Generale (General Purpose) I modelli sono capaci di affrontare problematiche comuni, eliminando la necessità di creare modelli da zero per ogni compito. Solo poche entità dispongono delle risorse per addestrare modelli di tale portata.
-
Pre-addestrati e Specializzati Vengono inizialmente addestrati per finalità generali, per poi essere rifiniti per compiti specifici usando un volume minore di dati.
I Benefici degli LLM
- Versatilità: Un unico modello per molteplici applicazioni: traduzioni, completamento di testo, classificazione, risposta a quesiti…
- Efficienza dei Dati: Necessità ridotta di dati specifici per l’adattamento: funzionano bene anche con pochi esempi (few-shot) o senza esempi specifici (zero-shot).
- Scalabilità delle Prestazioni: Le performance migliorano all’aumentare dei dati e del numero di parametri.
Che cos’è un Modello Transformer?
L’architettura Transformer include un encoder (che elabora l’input) e un decoder (che produce l’output). Rappresenta un’evoluzione rispetto agli approcci precedenti: Programmazione classica → Reti neurali → Modelli generativi.
Nell’ambito dell’AI Generativa, siamo noi a poter generare contenuti: testi, immagini, audio, video… Esempio: modelli come Gemini o LaMDA di Google sfruttano enormi quantità di dati per costruire modelli di base a cui è possibile semplicemente “porre domande”.
Differenze tra Sviluppo LLM e Machine Learning Tradizionale
- Sviluppo con LLM:
- Minore richiesta di expertise specifica.
- Non servono grandi dataset specifici.
- È sufficiente saper progettare un prompt efficace (istruzioni chiare e sintetiche).
- Apprendimento Automatico Tradizionale:
- Richiede competenze tecniche avanzate.
- Necessita di molti dati etichettati.
- Implica lunghi tempi di addestramento.
- Esige hardware potente.
Un Caso Pratico: Risposta a Domande (Question Answering – QA)
- Approccio Tradizionale: Richiedeva profonda conoscenza del dominio per costruire modelli QA per settori come IT, sanità o logistica.
- Approccio con LLM Generativi: Non è più necessaria una conoscenza specialistica! Il modello genera risposte basandosi sul contesto fornito.
Esempi di domande poste a Gemini:
- Calcolare l’utile netto partendo da ricavi e costi.
- Determinare la quantità di inventario necessaria per evadere un ordine.
- Calcolare la media di sensori per regione.
Tutto ciò è possibile grazie a una buona progettazione del prompt!
Prompt Design vs Prompt Engineering
- Prompt Design → Riguarda la creazione di prompt chiari e adatti all’attività richiesta.
- Prompt Engineering → Si concentra sulla creazione di prompt ottimizzati per massimizzare le performance del modello.
Categorie di Large Language Models
- Generici → Predicono la parola successiva (es: funzione di autocompletamento).
- Ottimizzati per Istruzioni (Instruction-Tuned) → Rispondono a comandi specifici (es: riassumi questo testo, scrivi una poesia).
- Ottimizzati per il Dialogo (Dialog-Tuned) → Specializzati per interazioni conversazionali più fluide (es: chatbot).
Ragionamento Chain-of-Thought
Indurre il modello a esplicitare i passaggi logici intermedi (“pensare ad alta voce”) aumenta la probabilità di ottenere una risposta corretta.
Personalizzazione e Ottimizzazione (Tuning)
- Il Tuning permette di adattare i modelli al proprio dominio specifico (es: legale, medico).
- Fine-Tuning Completo → Implica la riparametrizzazione dell’intero modello (operazione molto dispendiosa).
- PETM (Parameter Efficient Tuning Methods) → Consentono l’ottimizzazione agendo solo su piccole porzioni aggiuntive del modello, risultando più economici e gestibili.
Strumenti Google Cloud per Lavorare con gli LLM
- Vertex AI Studio → Permette di esplorare, testare e personalizzare modelli generativi.
- Vertex AI Agent Builder → Facilita la costruzione di chatbot, motori di ricerca personalizzati e basi di conoscenza, quasi senza scrivere codice.
- Model Garden → Offre un catalogo curato e aggiornato di modelli AI.
LLM Large Language Models: Esposizione Completa
I large language models, o LLM, sono una branca specifica del deep learning. Per maggiori dettagli sul deep learning, vi invitiamo a consultare il video del nostro corso “Introduction to Generative AI”.
LLM e AI generativa si intersecano, rientrando entrambi nell’ambito del deep learning, un’altra area dell’AI di grande attualità. L’AI generativa è quel tipo di intelligenza artificiale capace di creare contenuti nuovi, come testo, immagini, audio e dati sintetici. Ma torniamo agli LLM.
Dunque, cosa sono i large language models? Con questo termine ci si riferisce a grandi modelli linguistici di uso generale che possono essere pre-addestrati e successivamente ottimizzati (fine-tuned) per finalità specifiche. Cosa significano pre-addestrato e ottimizzato (fine-tuned)?
Esempio di Pre-addestramento e Fine-Tuning
Proviamo a immaginare l’addestramento di un cane. Tipicamente, si insegna al cane comandi basilari come seduto, vieni, giù e resta. Questi comandi sono di solito sufficienti per la gestione quotidiana e aiutano il cane a integrarsi bene.
Ma se si necessita di cani per compiti speciali, come un cane poliziotto, un cane guida o da caccia, si aggiungono addestramenti mirati, non è vero? Il concetto è analogo per i large language models.
Questi modelli vengono addestrati per scopi generali al fine di risolvere problemi linguistici comuni, quali la classificazione testuale, la risposta a domande, il riassunto di documenti e la generazione testuale in vari contesti. I modelli possono poi essere adattati per affrontare problematiche specifiche in diversi settori, come Retail, Finanza e intrattenimento, usando un dataset specifico (field data set) di dimensioni relativamente contenute.
Le 3 Caratteristiche Salienti dei Large Language Models
“Large”
Ora che abbiamo chiarito il concetto base, analizziamolo attraverso tre caratteristiche principali dei large language models. Partiamo dal termine “large”. “Large” ha una doppia valenza. La prima riguarda le dimensioni imponenti del dataset di addestramento, talvolta dell’ordine dei petabyte. La seconda si riferisce al numero di parametri nell’apprendimento automatico. I parametri (spesso chiamati anche iperparametri, sebbene ci sia una distinzione tecnica) rappresentano essenzialmente la memoria e la conoscenza che la macchina acquisisce durante l’addestramento. I parametri determinano la capacità del modello di risolvere un problema, come la predizione del testo. Ecco spiegato l’uso del termine “large”.
Uso Generale (General Purpose)
Passiamo a “general purpose” (scopo generale). Scopo generale significa che i modelli sono adeguati per risolvere problemi comuni. Due fattori hanno contribuito a questa idea. Il primo è la natura comune del linguaggio umano, indipendentemente dai compiti specifici. Il secondo è la limitazione delle risorse; solo alcune organizzazioni possiedono la capacità di addestrare large language models così estesi con dataset enormi e un numero elevatissimo di parametri. Perché non lasciare che siano loro a creare i modelli linguistici fondamentali che altri possono poi utilizzare?
Pre-addestrati e Specializzati
Questo ci porta ai nostri ultimi concetti: “pre-trained” (pre-addestrato) e “fine-tuned” (ottimizzato). Si pre-addestra un large language model per uno scopo generale utilizzando un ampio dataset. E poi lo si ottimizza per obiettivi specifici con un dataset molto più piccolo.
Casi d’Uso degli LLM (LLM Use Case)
Avendo definito cosa sono i large language models (LLM), possiamo ora descriverne i casi d’uso. I vantaggi derivanti dall’impiego dei large language models sono evidenti.
Primo, un singolo modello può essere impiegato per compiti diversi. È un traguardo significativo. Questi large language models, addestrati con petabyte di dati e dotati di miliardi di parametri, sono sufficientemente avanzati da gestire compiti eterogenei, inclusa la traduzione linguistica, il completamento di frasi, la classificazione testuale, la risposta a domande e altro ancora.
Secondo, i large language models richiedono una quantità minima di dati di addestramento specifici (field training data). Quando vengono adattati per risolvere un problema specifico, ottengono prestazioni rispettabili anche con pochi dati di addestramento relativi al dominio. In altre parole, possono essere usati in scenari few-shot o persino zero-shot nell’apprendimento automatico. Few-shot indica l’addestramento di un modello con dati minimi, mentre zero-shot implica che un modello può riconoscere elementi non esplicitamente insegnati durante l’addestramento precedente.
Terzo, le prestazioni dei large language models crescono in modo continuo. Aggiungendo più dati e parametri, le performance tendono ad aumentare.
Modelli Transformer
I large language models sono quasi esclusivamente basati sull’architettura Transformer. Spieghiamo cosa comporta. Un modello Transformer è composto da un encoder e un decoder. L’encoder codifica la sequenza di input e la trasmette al decoder, che apprende come decodificare le rappresentazioni per un compito pertinente. Abbiamo percorso molta strada dalla programmazione tradizionale alle reti neurali fino ai modelli generativi. Nella programmazione classica, dovevamo definire manualmente le regole per identificare un gatto: quattro zampe, orecchie, pelo, passione per fili ed erba gatta.
LaMDA (Language Model for Dialogue Applications). È un modello di intelligenza artificiale sviluppato da Google, specificamente progettato per sostenere conversazioni naturali e fluide, superando le risposte brevi o meccaniche tipiche dei chatbot tradizionali. L’obiettivo di LaMDA è comprendere il contesto, mantenere la coerenza nei dialoghi e rispondere in modo creativo e pertinente.
Ad esempio, modelli come Gemini, il modello AI multimodale di Google, o LaMDA, il language model for dialogue applications, gestiscono un’enorme quantità di dati provenienti da molteplici fonti su internet per costruire modelli linguistici di base. L’aspetto straordinario è che possiamo utilizzarli semplicemente formulando una domanda: scrivendola in un prompt o pronunciandola direttamente. Quindi, se chiedi “cos’è un gatto?”, Gemini o ChatGPT possono fornirti tutte le informazioni che hanno appreso riguardo ai gatti.
Differenze tra Sviluppo LLM e Machine Learning Tradizionale
Confrontiamo lo sviluppo basato su LLM pre-addestrati con lo sviluppo ML tradizionale. Primo, con lo sviluppo LLM, non è necessario essere un esperto. Non servono esempi di addestramento specifici.
E non c’è bisogno di addestrare un modello da zero. Ciò che serve è concentrarsi sul prompt design. Il prompt design è il processo di creazione di un prompt chiaro, conciso e informativo.
È un elemento cruciale dell’elaborazione del linguaggio naturale (NLP). Nell’apprendimento automatico tradizionale, sono necessarie competenze specifiche, esempi di addestramento, tempo di calcolo e hardware dedicato. I requisiti sono notevolmente maggiori rispetto allo sviluppo LLM.
Esempio Pratico
Esaminiamo un esempio pratico di generazione testuale per chiarire ulteriormente.
La risposta a domande (Question Answering o QA) è un sottocampo dell’NLP che si occupa di rispondere automaticamente a domande poste in linguaggio naturale. I sistemi QA sono tipicamente addestrati su grandi volumi di testo e codice e sono capaci di rispondere a un’ampia gamma di domande, incluse quelle fattuali, definitorie e basate su opinioni.
Il punto chiave è che in passato era richiesta una conoscenza approfondita del dominio applicativo per sviluppare questi modelli QA; era necessario un esperto per costruire un sistema automatico di Q&A. La conoscenza del dominio era fondamentale per sviluppare un modello QA per l’assistenza clienti, il settore sanitario o la supply chain.
Ma utilizzando la QA generativa, il modello genera testo libero direttamente in base al contesto fornito. Non è più richiesta una conoscenza specifica del dominio. Vi mostro altri esempi di quanto sia potente questo approccio. Consideriamo tre domande poste a Gemini, un chatbot basato su un large language model sviluppato da Google AI.
Domanda uno: Le vendite di quest’anno ammontano a $100.000, le spese a $60.000. Qual è l’utile netto? Gemini prima spiega come si calcola l’utile netto, poi esegue il calcolo e infine fornisce la definizione di utile netto.
Ecco un’altra domanda: Inventario disponibile: 6.000 unità. Un nuovo ordine richiede 8.000 unità. Quante unità mancano per completare l’ordine? Anche qui, Gemini risponde alla domanda effettuando il calcolo necessario.
E il nostro ultimo esempio: Abbiamo 1.000 sensori distribuiti in 10 regioni geografiche. Quanti sensori ci sono in media per regione? Gemini risponde fornendo un esempio su come risolvere il problema e aggiungendo contesto supplementare.
Prompt Design e Prompt Engineering
Come è stato possibile ottenere la risposta desiderata per ciascuna domanda? Il merito è del prompt design. Prompt design e prompt engineering sono due concetti strettamente legati nell’ambito dell’NLP.
Entrambi riguardano il processo di creazione di un prompt che sia chiaro, conciso e informativo. Tuttavia, esistono alcune differenze fondamentali tra i due.
Prompt design Il prompt design è il processo di creazione di un prompt adattato al compito specifico che si richiede al sistema di eseguire. Ad esempio, se si chiede al sistema di tradurre un testo dall’inglese al francese, il prompt dovrebbe essere formulato in inglese specificando che l’output desiderato è in francese.
Prompt engineering Il prompt engineering è il processo di creazione di un prompt progettato per migliorare le prestazioni.
Ciò può includere l’uso di conoscenze specifiche del dominio, la fornitura di esempi dell’output atteso o l’impiego di parole chiave note per essere efficaci con quel sistema specifico.
In sintesi, il prompt design è un concetto più generale, mentre il prompt engineering è più specializzato. Il prompt design è fondamentale, mentre il prompt engineering diventa necessario per sistemi che richiedono elevata accuratezza o performance.
Modelli di LLM (Large Language Models)
Esistono tre tipi principali di large language models: modelli linguistici generici, modelli ottimizzati per istruzioni (instruction tuned) e modelli ottimizzati per il dialogo (dialog tuned). Ciascuno richiede un approccio diverso al prompting.
Iniziamo con i modelli linguistici generici. Questi modelli predicono la parola successiva basandosi sulla lingua presente nei dati di addestramento. Un esempio: “the cat sat on the…” (il gatto si sedette sul…). La parola successiva più probabile è “mat” (tappeto), e si può vedere come questa sia l’opzione più probabile. Si può pensare a questo tipo di modello come a una funzione di autocompletamento nella ricerca.
Poi abbiamo i modelli instruction tuned. Questo tipo di modello è addestrato a prevedere una risposta a istruzioni fornite nell’input. Ad esempio, “riassumi il testo X”, “genera una poesia nello stile di Y”, “fornisci un elenco di parole chiave correlate semanticamente a Z”. Nell’esempio fornito: “classifica il testo come neutro, negativo o positivo”.
Infine, ci sono i modelli dialog tuned. Questi modelli sono addestrati per sostenere un dialogo, prevedendo la risposta successiva. I modelli dialog tuned sono un caso particolare di instruction tuned, dove le richieste sono tipicamente formulate come domande a un chatbot. Il dialog tuning è pensato per il contesto di conversazioni più lunghe e funziona generalmente meglio con formulazioni naturali, simili a domande.
Ragionamento Chain-of-Thought
Il ragionamento Chain-of-Thought si basa sull’osservazione che i modelli riescono meglio a trovare la risposta corretta quando prima generano testo che spiega i passaggi logici che portano a quella risposta.
Consideriamo la domanda: “Riccardo ha cinque palline da tennis. Compra altre due confezioni di palline da tennis. Ogni confezione contiene tre palline da tennis. Quante palline da tennis ha ora?”.
Se posta direttamente, il modello ha meno probabilità di fornire subito la risposta corretta.
Tuttavia, se il prompt guida il modello a esplicitare i passaggi (es. “Roger parte con 5 palline. Compra 2 confezioni * 3 palline/confezione = 6 palline. Totale = 5 + 6 = 11 palline.”), l’output ha maggiori probabilità di concludersi con la risposta corretta (11).
Personalizzazione e Tuning
Ma c’è un aspetto da considerare!
Un modello “tuttofare” ha dei limiti pratici perchè non sa affrontare tutto nel modo corretto.
Tuttavia, il tuning specifico per un compito può rendere gli LLM più affidabili.
Ad esempio Vertex AI di Google, offre modelli fondamentali già orientati a compiti specifici. Vediamo come effettuare il tuning con esempi concreti.
Supponiamo di dover analizzare il sentiment dei clienti riguardo a un prodotto. Si può usare un modello specifico per l’analisi del sentiment. Lo stesso vale per i compiti di visione artificiale; se è necessario eseguire l’analisi dell’occupazione di uno spazio, esiste un modello specifico per quel caso d’uso.
Il tuning di un modello consente di personalizzare la sua risposta basandosi su esempi dei compiti che si desidera esso svolga. È essenzialmente il processo di adattare un modello a un nuovo dominio di applicazione o a un set di casi d’uso personalizzati, addestrandolo su nuovi dati.
Ad esempio, si possono raccogliere dati di addestramento e ottimizzare il modello specificamente per il dominio legale o medico.
È possibile ottimizzare ulteriormente il modello tramite il fine-tuning, portando il proprio dataset e riaddestrando il modello, modificando ogni suo peso.
Questo richiede un notevole sforzo computazionale per l’addestramento e l’hosting del modello risultante.
Un esempio è un modello fondamentale medico addestrato su dati sanitari, capace di svolgere compiti come risposta a domande mediche, analisi di immagini diagnostiche, ricerca di pazienti simili, ecc.
Il fine-tuning completo è costoso e spesso impraticabile. Esistono quindi metodi di tuning più efficienti?
Sì, i Parameter Efficient Tuning Methods (PETM) sono tecniche per ottimizzare un large language model sui propri dati personalizzati senza duplicare l’intero modello.
Il modello di base rimane inalterato. Invece, viene ottimizzato un piccolo numero di strati aggiuntivi, che possono essere attivati o disattivati durante l’inferenza (l’uso del modello).
Strumenti Google Cloud per Lavorare con gli LLM
Vi illustro altri tre modi in cui Google Cloud può aiutarvi a sfruttare al meglio gli LLM.
Il primo è Vertex AI Studio. Questo strumento consente di esplorare e personalizzare rapidamente i modelli di AI generativa da integrare nelle proprie applicazioni su Google Cloud. Vertex AI Studio supporta gli sviluppatori nella creazione e nel deployment di modelli di AI generativa, offrendo una gamma di strumenti e risorse per iniziare facilmente. Ad esempio, include una libreria di modelli pre-addestrati, strumenti per l’ottimizzazione e il deployment in produzione, e un forum per la community.
Successivamente, c’è Vertex AI Agent Builder (precedentemente noto come Vertex AI Search and Conversation), particolarmente utile per chi ha meno esperienza di programmazione. Permette di costruire soluzioni di ricerca e conversazionali basate su AI generativa per clienti e dipendenti, con poco o nessun codice e senza esperienza pregressa di machine learning. Con Vertex AI Agent Builder si possono creare chatbot, assistenti digitali, motori di ricerca personalizzati, knowledge base, applicazioni di formazione e altro.
Gemini è un modello AI multimodale. A differenza dei modelli linguistici tradizionali, non si limita alla comprensione del testo; può analizzare immagini, comprendere le sfumature dell’audio e persino interpretare codice sorgente. Questo permette a Gemini di affrontare compiti complessi, prima irraggiungibili per l’AI. Grazie alla sua architettura avanzata, Gemini è estremamente adattabile e scalabile, rendendolo idoneo per svariate applicazioni. Il Model Garden viene costantemente aggiornato per includere nuovi modelli.
Tieniti aggiornato sulla AI con Mare Consulting… Leggi tutti i nostri articoli.
Vuoi Iniziare un progetto di AI Intelligenza Artificiale?
contattaci subito saremo felici di verificare con te come sviluppare una nuova idea o un nuovo progetto.
Questo articolo è tratto da Google
