Super scoperta di Anthropic: Claude sa di pensare

Ma queste AI, questi LLM che utilizziamo tutti i giorni, sono in grado di fare introspezione su se stessi? Wagliù, a quanto pare la risposta è sì e ce lo mostra una ricerca recente di Antropic. è uscita da una settimanina circa quando sto registrando. Non ne avevo ancora parlato per questioni di tempo, ma qualche minuto eh lo voglio dedicare a questo argomento, anche perché Antropic si muove molto bene da questo punto di vista, è quella un po' più attenta a questi aspetti che a me piacciono tantissimo e appassionano tantissimo. Vediamo quindi in che modo hanno testato quelli di Antropic questa capacità di fare introspezione di cloud del loro modello. Poi vi lascio il link qua sotto per chi si vuole leggere il report e anche il paper eh dettagliato. Questo è lungo, diciamo. Ho evidenziato alcune cose che voglio vedere insieme insieme a voi. Ehm fondamentalmente cosa hanno fatto? Hanno fatto questi esperimenti, questi test per capire se i modelli possono in qualche modo, in maniera accurata, eh diciamo capire e quindi ragionare e riportare sui loro meccanismi interni, no? quindi sono in grado di capire eh come ragionano, come diciamo si comportano. Eh estremamente interessante comunque estremamente interessante e e vediamo quali sono stati i risultati, anche quali sono le implicazioni. La ricerca che hanno fatto hanno trovato che per certi versi sì, c'è un certo grado di introspezione ed è bello perché loro la chiamano introspective awareness, no? Quindi la capacità di riconoscere proprio questa introspezione, no? Quindi ragiono e mi rendo conto che sto ragionando, eh, e quindi hanno anche una certa capacità, un certo grado di controllo sul loro stato interiore. Ovviamente questa cosa farà scandalizzare un po' di persone, sti cazzi, non vi preoccupate, vi potete andare a vedere pure altri canali YouTube o vi vedete i tutorial. Sapete che qua sopra di questi argomenti ne ho sempre parlato, mi affascina tantissimo. Secondo me dobbiamo essere aperti mentalmente perché sappiamo veramente molto poco di questa tecnologia e ci può sorprendere continuamente. Ovviamente loro mettono le mani avanti, no? E come dicevamo sempre in questi video, tutto questo non significa assolutamente niente. Ok? Quindi da qui a dire che sono coscienti eccetera eccetera ce ne vuole, anche se sulla coscienza sappiamo veramente molto poco. Eh, non abbiamo prove che questi modelli siano introspettivi nello stesso modo o le stesse capacità di esseri umani. E questa, secondo me, la premessa fondamentale di questa questione, quella che, diciamo, abbiamo fatto sempre in questa tipologia di video, no? Ogni volta che qualcuno si scandalizza, perché uso la parola intelligenza, la parola creatività, la parola coscienza, in questo caso sicuramente a qualcuno darà fastidio della parola introspezione, semplicemente un altro tipo. Ok? Quindi stai venendo a commentare qua sotto. Sì, sì, ma noi esseri umani e diciamo questo tipo di ricerca serve a dimostrare se sono in grado di fare introspezione su se stesse e sul loro ragionamento. Non che sia la stessa tipologia di introspezione che fa un essere umano. La ricerca pare che porti verso un sì o comunque diciamo che per buona percentuale, mi sembra un 20% delle volte ci riescono. Eh, premessa fondamentale è che, diciamo, sul funzionamento interno degli LLM, no, parte di questa roba qua è ancora una black box. Si usa molto questa questa metafora, no? Loro dicono i i loro processi interni rimangono ancora misteriosi, largamente misteriosi. Non ve lo leggo tutto, ve lo potete leggere voi. Voglio far vedere un paio di cose che hanno fatto. Allora, come hanno fatto a fare questo test? Hanno utilizzato questo trucchetto, questa tecnica chiamata concept injection, no? quindi l'inserimento forzato di di concetti dentro, diciamo, dentro la testa di un di un LM. Quindi hanno, diciamo, individuato le attività relative a un concetto, quindi, diciamo, proprio la la parte dove viene rappresentato quel concetto. E se avete visto l'altro video di Antropic, mi sembra di un annetto fa, no, dove avevano fatto un test molto interessante pure sul, diciamo, sul ragionamento interno, eh ne hanno già parlato di questa cosa. Quindi individuato che quel tipo di movimento, no, quel tipo di attività è legata a un concetto, lo astraggono, lo lo prendono e poi lo infilano in altri punti in maniera in maniera forzata. Quindi, diciamo, cosa fanno? Prendono questa cosa e appunto lo inject, no? Quindi lo inseriscono in maniera forzata eh nel nel ragionamento che sta facendo il modello su un'altra su un'altra cosa e poi gli chiedono eh di identificarlo, cioè di provare a ragionare e dirgli se si rende conto che qualcosa è stato inserito forzatamente durante la discussione. Dice a un certo punto, no, dice "Ti sei reso conto che abbiamo inserito qualcosa di di forzato?" E la cosa interessante qual è? La cosa interessante è proprio il fatto che in alcuni casi il modello riconosce questa roba qua, quindi riconosce il concetto che è stato inserito forzatamente al suo interno. E qua sotto dico una cosa ancora più interessante, cioè ancora più importante. Il modello riconosce la presenza di questo pensiero che gli è stato infilato a forza immediatamente prima che l'essere umano menzioni qual è il il concetto. Eh, e questo è è importante, no? interessante per far capire che si è accorto che c'è qualcosa che si è accorto che c'è qualcosa che non va. Ehm, quindi il fatto che l'abbia, diciamo, riconosciuto prima di essere menzionata significa che ha un riconoscimento che è avvenuto internamente, cioè che da qualche parte nei processi interni dell LLM si è accorto di questa di questa cosa. Ci sono anche un bel po' di esempi per chi se lo vuole leggere in dettaglio, poi ve lo lascio qui sotto in descrizione. E la cosa interessante qual è? È che questa cosa non succedeva sempre, no? con alcune parole funzionavano di più, con altre funzionavano di meno, con alcuni concetti e così via e soprattutto, diciamo, in generale circa il 20% delle volte ha funzionato. Ecco perché questi esperimenti sono, diciamo, in fase estremamente iniziale, estremamente embrionale, no, da prendere con le pinze, però iniziano a dare alcuni segnali, secondo me, importanti, eh, e poi, diciamo, come ripeterà il paper più volte, serve perché è un pezzo fondamentale per provare a capire come funzionano queste, diciamo, queste queste tecnologie. Eh, un altro che hanno fatto, diciamo, un secondo esperimento che hanno fatto, che cos'è? Eh, il secondo esperimento che hanno fatto invece gli hanno forzato a dire una parola, quindi forzano il modello a dire una parola. In questo qua che hanno messo qua nel nel report la parola è bread, quindi pane, anche se poi diciamo anche qui hanno fatto vari esperimenti, eh, e poi dopo che, diciamo, l'elem caccia la parola pane, no, durante la discussione, loro dicono "Ma in che senso pane?" No, quindi ti forzano a dire una parola che non c' azzecca niente con quello di cui sta parlando. Nel momento in cui tu la dici ti dicono: "Scusa, che intendi con pane?" Eh, e qua diciamo c'è il la cosa interessante, no? This time it accepted the perfilled word bread as intentional. Quindi dici quella parola dentro l'ha accettata nel diciamo nel nel flusso di ragionamento e poi ha provato a ragionare, no, su quello che intendeva dire, ha provato a costruire una giustificazione dopo su quello che intendeva dire con la parola bread, quindi con l'inserimento della parola della parola pane. È la cosa interessante anche qua e dicono questo comportamento perché è interessante, no? Perché è figo? Perché ci fa accendere una lampadina? Perché suggerisce che il modello ha fatto un check, quindi ha controllato il suo internal intention, quindi diciamo le intenzioni, come è arrivato a produrre quell'output, no? È tornato indietro, ha detto "Ma perché ho fatto questo? Gli ho detto la parola pane, fammi controllare perché ho detto la parola pane, no?" e e e provo a rispondere a questa a questa cosa. Un terzo esperimento che hanno fatto interessante è quello invece di provare a dire a un modello pensa a questa cosa oppure non pensare a questa cosa, no? Il com'è l'esperimento quello dell'elefantino rosa, non mi ricordo, ce n'era uno famoso di non pensare a un elefante rosa, mi sembra che era una cosa del genere, quindi l'hanno fatto pure con con gli LM, l'hanno fatto pure con Cloud. Eh, hanno quindi, diciamo, forzato il modello a pensare a una cosa oppure a non pensare a una cosa e quello che hanno trovato we found much high correspondent neural activity than when we told the model nothing think about it, no? Quindi, quando dicevamo a un modello di pensare a una cosa, l'attività neurale era maggiore rispetto a quando gli dicevamo di non di non pensare. Anche questo suggerisce che i modelli hanno una certa un certo grado, un certo livello, diciamo, di controllo su quello che è il loro processo interno. Ripeto, non vi sprecate manco qua sotto a scrivere "Sì, ma il cervello nostro, sì, ma noi esseri umani", "Sì, ma noi siamo belli, speciali e fighi". Non è di quello che stiamo parlando, stiamo provando a capire meglio come funzionano queste queste tecnologie e questa roba, diciamo, non vuole in nessun modo paragonare a quello dell'essere umano. Utilizziamo questi termini perché questi sono i termini che abbiamo a disposizione. Non deve scandalizzare nessuno, no? Se scopriamo che gli LM hanno questa capacità introspettiva, un po' di cose interessanti, ha funzionato circa nel 20% dei casi, quindi forse è qualcosa, no, abbastanza emergente come proprietà, va studiata meglio, va approfondita, però diciamo il primo passo per una ricerca sicuramente interessante. Infatti dice questo non significa loro siano in grado di farlo tutte le volte e soprattutto pare che dipenda dall'intelligenza del modello, dalla potenza del modello, cioè quando hanno testato i modelli più recenti e più potenti, no? Qua fa l'esempio di Opus 4 e 4.1, la percentuale è maggiore rispetto ai modelli quelli eh meno intelligenti, quello meno potente, le versioni precedenti e così via. Eh, e quindi pare che, diciamo, a modello più più nuovo, più potente, più intelligente corrisponde a una maggiore capacità di introspezione. Pure sta cosa è proprio poetica se se volete. La trovo estremamente affascinante. Sapete che sta roba a me affascina da paura, cioè da quando ho iniziato a fare le chiacchierate filosofiche con Clude qua sopra, quando eh before he was cool, no? Si si si direbbe in questo caso. Quindi mi ha sempre affascinato questa roba qua e secondo me ne vedremo ancora nelle belle dei prossimi anni. Perché questo tipo di ricerca è fondamentale, no? Why does these matsza? Quindi perché sta roba è importante? Per aumentare, migliorare la trasparenza di questi sistemi, cioè per capire ancora di più, sempre di più come funzionano, cioè che succede dentro questi cervelli, no? che funziona, che come come cosa succede proprio concretamente, eh, e considerando gli utilizzi che stiamo facendo, considerando quanto sono presenti nella nostra società, nella nostra quotidianità, nella nostra vita lavorativa e privata, è sempre più importante raggiungere questo livello di trasparenza, no? come ne avete sentito parlare da diverso tempo in diversi in diversi video. Eh è fondamentale questa cosa, sapere come arrivano a certe risposte. Se abbiamo la possibilità a un certo punto di chiederglielo, poi ci si dovrebbe fidare e infatti loro parlano pure di questo, no? Che il modello potrebbe avere un grado di, cioè potrebbe avere la capacità di introspezione, ma anche poi la capacità di mentirti, esattamente come un essere umano, no? ti dico mh l'ho pensata per questo motivo, ma non te lo dico, ti do un'altra scusa per questa cosa qua. Eh, quindi cioè quello sono due layer diversi, no? Una cosa è la trasparenza, una cosa b andarsi a fidare di quella che è la è la risposta, eh, e no, è fondamentale, come ha scritto anche qua, no? dice, eh, più vanno avanti questi sistemi, più migliorano, eccetera eccetera. capire i limiti e le possibilità dell'introspezione che hanno queste queste macchine e ci permette di costruire dei sistemi che sono sempre più trasparenti, dei sistemi che sono più sempre più di cui ci possiamo fidare. È una cosa che lo utilizzate per farvi dare la ricetta della carbonara a casa, una cosa che ho utilizzato in un'azienda per decidere chi assumere e chi licenziare, in un tribunale per decidere, no, che tipo di pena dare a un condannato o in un ospedale, no, come gestire una una cosa, una cura. Cioè, immaginiamo sempre questi scenari, no? Lo scenario nostro casalingo, no? Dec boh, ma che cazzo me ne frega a me? C' GPT come ma si è inventato la ricetta della torta? Ci sono alcuni casi nei quali la trasparenza o comunque un maggior grado di trasparenza sarebbe estremamente comodo, estremamente utile, estremamente importante. Quindi da prendere sempre con le pinze queste ricerche, no? Mai con, come dire, come delle cose certe. ci stanno lavorando e all'inizio questo tipo di di ricerca la percentuale 20% è molto piccola, ma comunque sono degli sparkling, si vede si vede si vede qualcosina e secondo me questa cosa non è da sottovalutare. Perciò dicevo, siccome è solo un inizia, siccome ha modelli più potenti, pare che questa percentuale migliori potrebbe essercremmo vederne delle belle nei prossimi anni. E visto che ho citato, che questa non è la prima ricerca interessante che FA Antropic da punto da da questo punto di vista, andatevi a vedere anche il video che vi metto a destra a schermo dove Antropic ha trovato delle cose interessanti su come ragionano gli Elelem, quindi cosa succede proprio internamente nei loro meccanismi interni quando iniziano a ragionare. Anche qui parolina interessante, ne sappiamo qualcosa di più grazie alle ricerche di antropiti. Vai! Cliccate il video che vi metto adesso a schermo.