Come l'AI capisce le parole (Word2Vec Spiegato Semplice)

Gli strumenti basati sull'intelligenza artificiale capiscono davvero quello che diciamo? Come è possibile che ChatGPT, Gemini e strumenti simili siano in grado di risponderci coerentemente, apparentemente capendo ogni cosa che gli stiamo dicendo? Oggi parliamo di uno degli articoli scientifici che ha rivoluzionato il modo in cui i modelli AI comprendono il linguaggio: Word2Vec. Pensate a come strumenti come ChatGPT e Gemini possono scrivere poesie, analizzare testi, rispondere coerentemente a domande complesse e aiutarci a fare brainstorming, rivoluzionando il mondo. Ebbene, questa rivoluzione è iniziata nel 2013 con Word2Vec, un approccio che ha trasformato radicalmente il modo in cui i modelli comprendono il significato delle parole. In questo video parleremo non solo di Word2Vec, ma anche del fatto che, grazie a questo approccio, i modelli AI possono comprendere la semantica delle parole, quindi il significato delle parole. Capiremo perché è stato così importante e perché è la base anche dei sistemi moderni. Prima di parlare nello specifico di Word2Vec, dobbiamo però capire perché è così complicato comprendere il linguaggio. Noi siamo abituati a parlare e diamo per implicito il fatto che il significato delle parole sia condiviso, sapendo che "felice" e "contento" hanno significati simili, che la parola "piano" può riferirsi sia allo strumento musicale sia a un piano che ho architettato, sia al piano di un edificio, e che le stesse parole in un ordine diverso comunicano un significato diverso (ad esempio, "il cane morde l'uomo" e "l'uomo morde il cane" hanno le stesse parole ma significati diversi). Per noi queste cose sono scontate, ma come facciamo ad insegnare queste sfumature ad un modello di intelligenza artificiale? Cosa esisteva prima di Word2Vec? Dagli anni '90 in poi, gli approcci al Natural Language Processing erano basati sull'utilizzo di vocabolari: ad ogni parola corrispondeva una posizione nel vocabolario, e questa posizione la distingueva dalle altre. Questo concetto veniva rappresentato attraverso i cosiddetti vettori "one-hot", composti da tutti zeri e un singolo "1" per indicare la posizione della parola. Questo era il sistema più semplice per definire che c'erano due parole diverse in una frase e quali parole fossero. Però, questo sistema così semplice non permette di cogliere le similarità tra le parole, perché ogni parola è diversa da ogni altra parola. Allo stesso modo, se un sistema di intelligenza artificiale avesse imparato qualcosa sul significato della parola "felice", non avrebbe potuto in nessun modo sapere che quella nozione potrebbe essere utilizzata anche per la parola "contento", perché a priori queste erano due parole diverse e quindi non c'era modo di esprimere questa similarità. Il secondo problema da gestire è quello della polisemia: una parola può avere più significati. Prendiamo ad esempio "boa", che può essere sia quella che sta nel mare sia il serpente, ma ci sono tantissime altre parole del genere come "piano", "rete" o "gola", che può essere sia la parte del corpo sia il peccato capitale o un sinonimo di canyon. Quindi, se vogliamo lavorare con le parole, dobbiamo anche trovare un modo di esprimere il fatto che la stessa parola può avere più significati. Con un approccio basato sul vocabolario, non c'era modo di esprimere questa informazione. Il terzo problema riguarda l'ordine delle parole. Se pensiamo all'approccio basato sul vocabolario e prendiamo le due frasi usate precedentemente ("il cane morde l'uomo" e "l'uomo morde il cane"), queste frasi avranno le stesse parole e quindi gli stessi vettori contenti zeri e pochi uno, e per il modello non ci sarà modo di capire che l'insieme di quelle parole ha significati diversi, perché è un sistema basato unicamente sul vocabolario e non tiene conto dell'ordine delle parole. Questo era come il problema veniva affrontato negli anni '90, quando la potenza di calcolo era molto limitata. Questi problemi erano noti ai ricercatori, ma dal 2010 in poi, con la possibilità di applicare il deep learning per risolvere i più diversi problemi, i ricercatori hanno pescato dalla teoria della semantica distribuzionale formulata da Harris nel 1954 e hanno potuto applicarla ottenendo appunto Word2Vec. Questi ricercatori erano ricercatori di Google guidati da Thomas Mikolov e nel 2013 hanno pubblicato due articoli scientifici che spiegavano un sistema chiamato Word2Vec che era molto semplice ma sorprendentemente efficace. L'intuizione era questa: passare da vettori "one-hot" che codificavano la posizione della parola all'interno del vocabolario a vettori densi, e far sì che questi vettori densi catturassero le relazioni semantiche tra le parole. Però, non è così scontato comprendere perché l'utilizzo di vettori densi ci dà la possibilità di esprimere la similarità tra le parole. Prendiamo questo esempio: abbiamo quattro parole, re, regina, uomo e donna, rappresentati da vettori composti da tre numeri. Ricordiamo che un vettore è una sequenza ordinata di numeri e possiamo vedere che noi possiamo interpretare ogni numero come l'espressione di un concetto o di un attributo da parte di quella parola. Quindi, storicamente la parola "re" è legata al concetto di mascolinità, non è legata al concetto di familiarità ed è legata al concetto di regalità. Possiamo fare lo stesso discorso per "regina", che è legata più al concetto di familiarità rispetto che al concetto di mascolinità, ma allo stesso modo del re è legato al concetto di regalità. Allo stesso modo possiamo vedere come le parole "uomo" e "donna" sono legate ai concetti rispettivamente di mascolinità e di familiarità e molto meno al concetto di regalità. Quindi vediamo che se avessimo un sistema per assegnare questi numeri, potremmo esprimere quanto due parole sono simili o sono dissimili. Inoltre, questi vettori sono detti densi perché sono molto più piccoli rispetto ai "one-hot" che devono avere tante posizioni quante parole ci sono in un vocabolario, e soprattutto creano uno spazio denso che possiamo immaginare come una nuvola di puntini tutti vicini tra loro. Ma come fa Word2Vec a creare questi vettori semantici? Pescando a piene mani dalla teoria della semantica distribuzionale, quello che viene utilizzato per spiegare il significato di ogni parola è il suo contesto. Partiamo da un esempio: immaginiamo di avere una frase, "il gatto siede sul tappeto". L'algoritmo di addestramento di Word2Vec prende questa frase, toglie una parola (per esempio, "gatto"), si va dal modello e gli si chiede: "il [ ] siede sul tappeto, qual è la parola mancante?". Il modello deve predire la parola "gatto", ma notiamo che potrebbe predire anche "bambino", perché sono tutte parole che starebbero bene in quella frase: "il gatto siede sul tappeto", "il cane siede sul tappeto", "il bambino siede sul tappeto". Sicuramente ci sono molte più parole che non può predire, tipo i verbi, oppure frasi come "il pianeta siede sul tappeto" perché questa frase non ha senso. Quindi, un modello anche solo per risolvere questo semplice gioco deve apprendere qualcosa sulle parole, deve apprendere il loro significato e deve apprendere quali sono simili, cioè quali hanno contesti simili, perché io ho dato da mangiare al mio gatto, ma posso aver dato da mangiare anche al mio cane, ho portato dal veterinario il mio gatto, ho portato dal veterinario il mio cane. Quindi, secondo la semantica distribuzionale, il significato delle parole è tanto più simile quanto più i contesti all'interno di cui quelle parole compaiono sono simili. Un modello viene addestrato su milioni di frasi e fa questo esercizio per ogni singola parola. Così facendo, ha modo di imparare il significato di tutte le parole, imparando quindi quando una parola va usata e quando una parola non va usata. Ora passiamo dalle analogie a una spiegazione un poco più tecnica. Negli articoli si parla di due diversi modelli: CBOW e Skip-gram. Concentriamoci sul modello CBOW. Per addestrare un modello CBOW, si prendono tutte le frasi del dataset e le si spezzettano in frasi di lunghezza fissa (immaginiamo di lunghezza cinque). Poi si prende ogni frase di cinque parole, si toglie quella in mezzo (quindi la terza), si va dal modello e gli si dice: "ok, ti do le altre quattro parole, predici mi quella al centro". Al contrario, per addestrare il modello Skip-gram, viene presa la parola al centro e gli si chiede: "ok, ora mi devi predire le altre quattro che mancano". Per fare queste predizioni, il modello deve trasformare le parole in vettori e combinare quei vettori in modo efficace per fare la prediczione corretta. Quindi, se parliamo di CBOW, le quattro parole di contesto vengono trasformate ognuna nel suo vettore, questi vettori vengono combinati creando un quinto vettore e l'aspirazione è che quel quinto vettore sia il più simile possibile al vettore della parola da predire. Ora però, da dove saltano fuori questi vettori? In realtà la risposta è molto più semplice di quello che ci si aspetta: inizialmente sono a caso. Quindi, ogni vettore viene inizializzato con valori casuali, mentre il modo di combinare i vettori è sempre lo stesso (somme e moltiplicazioni sempre allo stesso ordine). Sarà il modello stesso quindi a capire come i vettori devono cambiare per far sì che la loro combinazione dia come risultato il vettore che cerca di volta in volta. E la cosa pazzesca del machine learning è che se un modello fa questi piccoli cambiamenti ai vettori per milioni di volte, alla lunga questi vettori iniziano a essere posizionati in un modo tale che il significato di ogni parola è parzialmente rappresentato da come è fatto il vettore (e attenzione, dico parzialmente perché nessun modello è perfetto e quindi tutte le eccezioni, tutte le parole non possono essere colte da un sistema così semplice). Ora facciamo un passo indietro, perché immagino che qualcuno si sarà accorto di quali sono i problemi di questo addestramento. Prima cosa, all'inizio io ho detto che tutte le frasi del dataset vengono spezzettate in frasi piccole da cinque parole. Questo è un problema perché vuol dire che il contesto di una parola è limitato e quindi, per esempio, se io dico un verbo all'inizio di una frase, il suo soggetto arriva dopo un po', questo legame fra le due parole non verrà colto da Word2Vec. Ma se io ingrandisco troppo il contesto, potrà includere delle parole che non sono così importanti. Quindi, la scelta della grandezza di contesto è un cosiddetto iperparametro che chi lavora con questi sistemi deve settare, e per decidere quale valore dare a questo parametro si fanno degli esperimenti e si vede, dato un dataset, qual è la grandezza ottimale del contesto. Tornando ai nostri modelli, possiamo dire che Skip-gram funziona meglio con le parole meno frequenti, mentre invece CBOW è più veloce e funziona meglio per le parole più frequenti. La cosa veramente rivoluzionaria è che una volta addestrati i modelli, quindi quando il modello CBOW inizia a predire la parola corretta, le possiamo dire che l'addestramento è finito. Ma se la predizione di CBOW è corretta, vuol dire che la rappresentazione interna, la rappresentazione vettoriale delle parole, ha codificato il significato delle parole stesse. Quindi quello che fanno i ricercatori è addestrare un modello e alla fine dell'addestramento estrarre i vettori e utilizzarli per fare altri esperimenti, perché si assume che quei vettori catturino il significato delle parole. E qui arriviamo alla parte veramente affascinante di Word2Vec, perché questi vettori sono detti anche embeddings e, una volta addestrato il modello, emergono delle proprietà di questi embeddings. Per esempio, possiamo notare come sono organizzati per cluster, cioè parole simili sono posizionate nelle stesse regioni dello spazio. Per esempio, possiamo immaginare che tutte le parole relative alla frutta sono posizionate vicine, tutte le parole relative agli animali sono posizionate vicine, tutte le parole relative alle città sono posizionate vicine. Ora, il primo esempio che abbiamo mostrato è una semplificazione, perché se ci spostiamo su dati reali ci accorgiamo che è un po' più complicato interpretare questi spazi vettoriali. Quindi abbiamo capito che i vettori sono disposti in regioni che codificano delle classi semantiche, diciamo, cioè la classe semantica di frutti, la classe semantica degli animali, la classe semantica delle città e così via. Infatti, questa non è l'unica proprietà che possiamo trovare analizzando la disposizione dei vettori nello spazio. Una delle scoperte più sorprendenti dei paper di Mikolov è che questi vettori possono essere utilizzati per risolvere delle analogie. L'analogia più famosa è: "re sta a uomo come [ ] sta a donna", e la risposta dovrebbe essere "regina", perché storicamente il concetto di re è simile al concetto di uomo tanto quanto il concetto di regina è simile al concetto di donna. E questa analogia funziona anche, per esempio, per le capitali: "Roma sta all'Italia come quale città sta alla Francia?", e la risposta è Parigi. Oppure i verbi: "mangiare è legato a mangiato tanto quanto bere è legato a bevuto". Il fatto che queste analogie fossero risolvibili utilizzando i vettori voleva dire che le distanze nello spazio codificavano queste informazioni e quindi verbi all'infinito e verbi al passato avevano una distanza più o meno costante, così come le nazioni e le capitali avevano una distanza più o meno costante. E la cosa veramente bella è che queste proprietà emergono spontaneamente, nessuno durante il training ha imposto che alcuni vettori dovessero stare vicini e che la distanza tra infiniti e passati dovesse essere costante. Eppure, andando a indagare i vettori è quello che si scopre, e avere questa evidenza è stato un cosiddetto "momento wow" per la comunità scientifica, perché ci siamo accorti di come finalmente i modelli di intelligenza artificiale stessero iniziando a cogliere le sfumature del linguaggio senza che nessuno glielo insegnasse esplicitamente. Quindi, fino ad esso ci siamo concentrati su Word2Vec e ne abbiamo anche sottolineato una certa eleganza, ma sicuramente questo modello continua ad avere dei limiti. Infatti, è uscito nel 2013 e dal 2013 le cose sono un po' cambiate. Prima di tutto, il problema della polisemia non veniva risolto da Word2Vec, perché appunto una parola aveva un unico vettore e quindi gli esempi fatti prima, cioè la parola "boa", la parola "piano", ma anche la parola "rete" e la parola "gola", avevano ognuna il suo vettore, ma non avevano un vettore per ogni significato, avevano un unico vettore. Essere costanti, eppure andare in direzioni diverse: è quello che si scopre analizzando i vettori. Avere questa evidenza è stato un momento "wow" per la comunità scientifica, perché ci siamo accorti di come finalmente i modelli di intelligenza artificiale stessero iniziando a cogliere le sfumature del linguaggio senza che nessuno glielo insegnasse esplicitamente. Fino ad ora ci siamo concentrati su Word2Vec e ne abbiamo sottolineato una certa eleganza, ma sicuramente questo modello continua ad avere dei limiti. Infatti, è uscito nel 2013 e da allora le cose sono un po' cambiate. Prima di tutto, il problema della polisemia non veniva risolto da Word2Vec, perché una parola aveva un unico vettore. Quindi, gli esempi fatti prima, cioè la parola "boa", la parola "piano", ma anche la parola "rete" e la parola "gola", avevano ognuna il suo vettore, ma non avevano un vettore per ogni significato. Avevano un unico vettore, e quindi dobbiamo immaginarci che la parola "piano" possa essere posizionata a metà fra gli strumenti musicali e gli edifici. Allo stesso modo, la parola "gola" può essere posizionata a metà fra le parti del corpo e i peccati capitali, perché deve contemporaneamente rappresentare entrambi i significati. In realtà, rappresentando una media dei significati, non ne rappresenta nessuno. La soluzione a questo problema è arrivata con gli embedding contestuali nel 2018, con un modello che si chiama ELMo. Questo modello, infatti, basato sulle reti neurali ricorrenti, rappresenta ogni parola in base al significato della parola e al contesto in cui si trova, generando così un embedding contestuale. L'utilizzo delle reti ricorrenti è necessario perché un altro grande problema di Word2Vec è che l'ordine delle parole non è importante. Infatti, se vi ricordate, con CBOW e Skip-gram, io prendo una frase, tolgo la parola centrale e do in pasto le altre quattro, e non è importante in che ordine siano le altre quattro, perché il modello deve semplicemente usarle per predire la parola centrale, senza tener conto della loro posizione. Quindi, le informazioni legate all'ordine delle parole si perdono. Per evitare di perdere queste informazioni, sono state introdotte le reti ricorrenti, le cosiddette RNN (Recurrent Neural Network) e la loro evoluzione, cioè le LSTM (Long Short-Term Memory), che leggono le frasi sequenzialmente, quindi parola per parola, e riescono a tenere conto dell'ordine delle parole. Un terzo problema del modello Word2Vec è che ogni parola era importante allo stesso modo. Quindi, ognuna delle quattro parole nel contesto veniva utilizzata in egual misura per predire la parola al centro. Questo chiaramente non è ottimale, perché tutti sappiamo che quando dobbiamo comprendere il significato di una frase, il verbo è molto più importante del resto. Abbiamo il verbo, abbiamo il soggetto, abbiamo il complemento oggetto. Se io parlassi con voi potrei sbagliare tutti i generi delle parole e voi mi capireste comunque, ma se io sbagliassi tutti i verbi, avreste già chiuso il video, perché non si capirebbe nulla di quello che io dico. Quindi, i verbi sono molto più importanti del resto. In Word2Vec questa informazione non c'è e ogni parola ha la stessa importanza. Per arrivare ad un modello che assegnasse importanza diversa alle diverse parole, abbiamo dovuto aspettare il 2017 con i Transformer e il meccanismo di Attention, che sono la base dei moderni Large Language Model, quindi GPT, Gemini e dei modelli che, effettivamente, unendo le scoperte di Word2Vec al meccanismo di Attention, stanno rivoluzionando il mondo. Un ultimo limite di Word2Vec è che, essendo completamente non supervisionato e imparando direttamente dai dati, in qualche modo eredita i bias culturali che sono presenti in quei dati. Quindi, se nella nostra società sono presenti degli stereotipi o dei bias di genere, sfortunatamente questi aspetti nelle parole verranno comunque appresi dal modello. Per fortuna, quando si è capita questa cosa, è nata una linea di ricerca che punta ad ottenere dei vettori che non contengono questi bias. Ora abbiamo parlato di come funzionano i modelli Word2Vec e dei limiti di questi modelli, però perché questi modelli sono considerati la base di tutto quello che è venuto dopo? Il fatto è che dal 2013 gli embedding ottenuti attraverso l'applicazione di Word2Vec sono stati utilizzati come punto di partenza per costruire architetture di reti neurali più complicate, come appunto le architetture ricorrenti, l'architettura Transformer, i primi Large Language Model, quindi BERT e GPT, fino ad arrivare appunto ai moderni Large Language Model, cioè GPT-4, Gemini, Llama, Claude e tutti gli altri. I chatbot moderni, infatti, si basano su architetture molto complesse che, per funzionare, devono combinare i miliardi di parametri che vengono appresi durante il distramento, però alla base di tutto questo c'è ancora l'idea fondamentale di Word2Vec e della semantica distribuzionale: possiamo rappresentare il significato delle parole attraverso vettori in uno spazio e quindi utilizzando la matematica come strumento per codificare la semantica. La differenza principale tra i modelli è che, mentre Word2Vec si limitava a rappresentare una singola parola, i modelli moderni generano una rappresentazione dinamica basata sull'intera frase o, in generale, sull'insieme di tutte le frasi. Però è un po' come se Word2Vec avesse fornito un vocabolario di base e i modelli che sono venuti dopo avessero introdotto altri elementi, come la grammatica, la sintassi, la semantica, tutto per arrivare a una comprensione del testo migliore. Bene, oggi abbiamo visto come Word2Vec abbia rivoluzionato il campo della comprensione del linguaggio e abbia messo le basi per i modelli e i sistemi di AI conversazionale. Dal mio punto di vista, è veramente affascinante pensare come un'idea così semplice abbia contribuito a tracciare la strada verso i chatbot sofisticati che usiamo oggi. Word2Vec ci ha fatto intuire che i modelli di intelligenza artificiale possono cogliere le relazioni semantiche tra le parole senza che esplicitamente queste vengano definite o insegnate ai modelli stessi, ma possono apprendere queste stesse nozioni semplicemente studiando grandissime quantità di testo e osservando come gli umani utilizzano le parole, estraendo degli schemi basati su frequenze e statistiche.