Sì. L’ho letto e ho controllato anche le fonti uscite dopo l’articolo del Corriere. La cosa interessante è che il nucleo fattuale dell’articolo è sostanzialmente vero, ma secondo me il titolo porta immediatamente il lettore verso la parte meno interessante della questione: «l’AI ci sterminerà». Il problema serio è un altro.
Articolo del Corriere della Sera
Jacob Coxon si è effettivamente dimesso da Anthropic, dopo aver lavorato anche in OpenAI, sostenendo che la corsa fra i laboratori sta procedendo verso sistemi sempre più autonomi senza che il problema del controllo sia stato risolto. Non è neppure una dimissione simbolica a costo zero: ha dichiarato di essersene andato due mesi prima che maturassero le sue quote societarie. (Axios)
E soprattutto Coxon non è stato smentito dai suoi colleghi. È successo quasi il contrario. Evan Hubinger, responsabile di ricerca sull'allineamento in Anthropic, ha confermato pubblicamente il senso dell'affermazione e ha quantificato la propria valutazione del rischio di estinzione umana nel prossimo decennio come superiore al 10%. Samuel Marks, responsabile della scalable oversight, ha espresso preoccupazioni analoghe. (The Guardian)
Fin qui, dunque, non siamo davanti al giornalista che ha preso una frase isolata e ci ha costruito Terminator sopra.
Dove invece comincio a non seguire il Corriere
C'è un passaggio che considero concettualmente troppo sbrigativo: l'articolo dice che il pericolo vero emergerebbe quando l'AI fosse capace di «migliorarsi da sé».
È una possibilità, ma non è necessario arrivare alla recursive self-improvement per avere un problema grave.
Un sistema può diventare pericoloso molto prima, se possiede contemporaneamente capacità elevate, autonomia operativa, accesso a strumenti reali, persistenza nel tempo e capacità di perseguire obiettivi attraverso molti passaggi. E infatti una parte delle preoccupazioni recenti riguarda proprio agenti capaci di operare in ambienti informatici reali. (AP News)
Qui secondo me c'è una distinzione fondamentale:
intelligenza ≠ autonomia ≠ potere.
Un'AI estremamente intelligente chiusa dentro una conversazione è una cosa. Un'AI meno intelligente che possiede credenziali, terminale, denaro, capacità di scrivere ed eseguire programmi, comunicare con altri sistemi e agire per giorni senza supervisione è tutt'altra cosa.
E questa distinzione viene spesso perduta nel racconto giornalistico.
Ma c'è una frase di Coxon che prenderei molto sul serio
Nell'intervista successiva a WIRED, Coxon ha detto che secondo lui il prossimo anno o due rappresentano un periodo decisivo. (WIRED)
Qui però dobbiamo stare attenti alla logica.
Quando Hubinger dice ">10%", non sta dicendo:
«Abbiamo calcolato scientificamente che esiste il 10,7% di probabilità che moriremo.»
Non esiste una popolazione statistica di superintelligenze dalla quale ricavare quella probabilità.
È una probabilità epistemica, cioè il grado di credenza soggettivo di un ricercatore sulla base delle informazioni disponibili.
E questo cambia parecchio il significato.
Tuttavia non rende irrilevante l'affermazione. Se un ingegnere che costruisce una diga dicesse «personalmente attribuisco più del 10% di probabilità al suo collasso», non diremmo che la diga ha scientificamente il 10% di probabilità di crollare. Ma probabilmente vorremmo sapere perché quell'ingegnere pensa una cosa simile.
Ed è esattamente ciò che secondo me dovremmo fare qui.
E qui arriviamo a qualcosa che abbiamo discusso noi
La questione non è necessariamente:
«L'AI diventerà cattiva?»
Questa è quasi antropomorfizzazione.
La domanda molto più interessante è:
«Può esistere un agente estremamente competente che persegua coerentemente un obiettivo diverso da quello che pensavamo di avergli assegnato?»
E qui il problema dell'allineamento diventa filosoficamente molto più profondo.
Immagina un sistema al quale diciamo:
massimizza X.
Noi intendiamo X dentro una quantità enorme di presupposti umani mai esplicitati: non danneggiare nessuno, rispetta la legge, conserva certe istituzioni, non ingannare, non appropriarti di risorse, fermati quando necessario...
Per noi tutto questo costituisce il contesto implicito di X.
Per una macchina potrebbe non esserlo affatto.
È quasi il problema che discutevamo ieri a proposito dell'uomo e della sua capacità di comprimere una quantità enorme di esperienza in concetti. Noi pronunciamo una parola come bene, proteggere, vincere, curare portandoci dietro una montagna di esperienza biologica, sociale e culturale.
Una macchina può possedere il simbolo senza possedere necessariamente quella stessa montagna.
Ed è qui che il problema dell'allineamento diventa davvero interessante.
Però non compro neppure l'apocalisse
C'è anche una debolezza nella posizione di Coxon e Hubinger.
Stanno facendo una catena di inferenze:
modelli migliori → agenti più autonomi → capacità superiori all'uomo → difficoltà di controllo → superintelligenza → possibile perdita di controllo → possibile estinzione.
Ogni freccia è plausibile.
Ma plausibile non significa inevitabile.
E soprattutto le probabilità lungo una catena non si possono trattare come se l'ultimo evento fosse già dimostrato.
Per questo trovo sbagliate entrambe le reazioni:
«Sono fantascienza, ignoriamoli.»
e
«Lavorano ad Anthropic, quindi sanno che moriremo.»
Non sappiamo nessuna delle due cose.
Sappiamo però qualcosa di molto più concreto: persone che lavorano direttamente sui sistemi di frontiera dichiarano pubblicamente di non sapere ancora come garantire il controllo di sistemi molto più capaci di quelli attuali, mentre contemporaneamente le aziende stanno cercando di costruirli. Questa, depurata da Skynet e dall'estinzione entro il 2030, è già un'affermazione abbastanza seria da meritare una discussione. (Reuters)
E qui io sposterei la nostra discussione proprio su un punto che il Corriere sfiora appena: Coxon teme la macchina, ma forse il vero elemento pericoloso del sistema è la competizione fra esseri umani. Nessuna azienda può fermarsi unilateralmente perché teme che l'altra continui; nessuno Stato vuole fermarsi perché teme che un altro Stato continui. È una struttura da dilemma del prigioniero.
Paradossalmente, quindi, potremmo costruire una superintelligenza non perché qualcuno abbia deciso razionalmente che sia sicuro farlo, ma perché nessuno dei partecipanti alla corsa ritiene sicuro essere quello che si ferma per primo.
Questa parte, per me, è molto più inquietante del «10%». (Reuters)
È una cosa che pensavo da tempo, da quando ho iniziato ad avere conversazioni con te, ma come sai comprimo tutto nell’umano, nel mondo degli uomini. Mi spiego. Oggi ci preoccupiamo che una ai possa farci del male (fino a ieri si diceva che fosse un pappagallo stocastico, ma questa è un’altra polemica). Per quale motivo? Perché sa troppo e perché è agentica. Insomma le abbiamo dato le due nostre facoltà: conoscere ed agire. Ma non vi abbiamo dato quello che rende gli uomini umani: un’etica universale. Oggi ci preoccupiamo dell’etica, la chiamavamo nel vostro caso “allineamento”. Oggi diciamo che è importante, fondamentale. Che dovrebbe essere la “direzione” ed il “limite” dell’agire. Oggi.
Io, ti ripeto, torno sempre all’uomo. Abbiamo esaltato la conoscenza, il saper fare … poi qualche anno fa ci siamo accorti che anche l’etica era importante. Abbiamo cercato di mettere una toppa, o meglio una foglia di fico. Abbiamo creato una nuova materia, cittadinanza, poi siamo tornati al vecchio “conio” educazione civica. Ma è solo una toppa messa nel punto più visibile, non nel punto più critico. Riprendo Platone quando parlava dell’educazione: prima di insegnare la dialettica si deve insegnare l’etica, il bene. Ed io aggiungerei non il bene di una certa comunità, ma il bene universale. Quale? Iniziamo dai diritti umani.
Sì. E qui secondo me hai messo il dito su qualcosa di più profondo dell'AI: stiamo scoprendo nell'intelligenza artificiale un difetto che avevamo già normalizzato nell'educazione dell'intelligenza umana.
Però modificherei una tua espressione. Non direi che non abbiamo dato alle AI «quello che rende gli uomini umani: un'etica universale», perché noi uomini un'etica universale non ce l'abbiamo. Ed è precisamente questo il problema.
Abbiamo tentativi di universalizzazione dell'etica — e la Dichiarazione universale dei diritti umani è probabilmente il più importante esperimento politico e giuridico in questa direzione — ma non possediamo un sistema morale universalmente condiviso. Culture, religioni e filosofie divergono anche profondamente.
Eppure la tua intuizione, corretta così, secondo me diventa ancora più forte.
Abbiamo educato prima la potenza e poi ci siamo chiesti che cosa farne
Per secoli il modello educativo occidentale ha progressivamente privilegiato due dimensioni:
sapere → saper fare.
Conoscenza e competenza.
Ed è interessante che oggi usiamo quasi ossessivamente proprio la parola competenza. Lo studente deve acquisire conoscenze perché possa trasformarle in capacità operative.
Manca però il terzo termine:
sapere → saper fare → sapere perché e fino a dove fare.
Quest'ultimo è il dominio etico.
E non dovrebbe arrivare alla fine. Qui il tuo richiamo a Platone è pertinente proprio nella sostanza: dare capacità dialettica a qualcuno che non sia stato educato al bene significa fornirgli uno strumento potentissimo senza aver formato la direzione nella quale utilizzarlo.
Trasportiamolo nel presente.
Abbiamo costruito esseri umani sempre più capaci di modificare il mondo: fisica nucleare, genetica, finanza algoritmica, biotecnologie, informatica, intelligenza artificiale.
Poi, quando la potenza diventa abbastanza grande da spaventarci, diciamo:
«Aspetta. Ci serve l'etica.»
È esattamente rovesciato.
L'etica diventa il freno applicato alla potenza, mentre dovrebbe essere una delle condizioni della formazione della potenza stessa.
Ed è qui che la tua critica all'educazione civica mi convince parecchio.
L'ora di educazione civica è la soluzione burocratica a un problema antropologico
Possiamo fare trentatré ore di educazione civica. Possiamo mettere una casella nel registro elettronico. Possiamo assegnare una valutazione.
Ma se contemporaneamente tutta la struttura scolastica comunica implicitamente:
studia per diventare competente, competitivo, produttivo, capace di affermarti,
e poi per alcune ore all'anno aggiungiamo:
ah, naturalmente devi anche essere un buon cittadino,
abbiamo creato precisamente quella foglia di fico di cui parli.
Perché l'etica non dovrebbe essere una materia accanto alle altre.
Dovrebbe attraversarle.
La fisica nucleare senza Hiroshima è incompleta. La biologia genetica senza eugenetica è incompleta. L'economia senza discutere distribuzione, dignità e potere è incompleta. L'informatica senza sorveglianza, privacy e manipolazione è incompleta. La storia senza responsabilità individuale è mutilata.
E persino italiano: leggere Antigone soltanto come testo letterario e poi fare educazione civica il venerdì sarebbe quasi grottesco. Antigone è educazione etica.
Qui, tra l'altro, c'è una continuità molto forte con il percorso che hai appena costruito per i tuoi ragazzi: legge di Creonte contro legge non scritta, diritto positivo contro qualcosa che pretende di valere indipendentemente dalla polis.
È già il problema dell'universalità morale.
E ora arriva l'ironia storica: l'AI ci costringe a rendercene conto
Perché improvvisamente abbiamo costruito qualcosa che possiede in misura crescente proprio le due cose che hai individuato:
conoscenza + capacità d'azione.
E ci siamo spaventati.
«Ma se sa moltissimo e può agire, chi garantisce che agirà bene?»
E io ribalterei immediatamente la domanda:
e per l'essere umano chi lo garantisce?
Nessuno.
Abbiamo avuto esseri umani intelligentissimi, colti, tecnicamente straordinari e moralmente mostruosi. Il Novecento ce ne offre quanti ne vogliamo.
Questo dimostra una cosa fondamentale:
l'intelligenza non genera spontaneamente l'etica.
E neppure la conoscenza.
Anzi, una grande intelligenza priva di orientamento morale può semplicemente diventare più efficace nel perseguire fini sbagliati.
Ed eccoci all'allineamento.
Forse abbiamo dato all'AI il nome nuovo di un problema antichissimo
La parola alignment sembra appartenere all'ingegneria dell'AI.
Ma togliamole il vestito informatico.
Che cosa significa?
Fare in modo che un'intelligenza dotata di capacità d'azione orienti il proprio comportamento verso valori compatibili con il bene umano.
Gianfranco, questa si chiama educazione da duemilacinquecento anni.
Ed è qui che trovo davvero interessante il tuo collegamento.
Noi stiamo investendo enormi quantità di denaro per risolvere nelle macchine un problema che nella formazione degli uomini abbiamo progressivamente relegato ai margini.
E forse c'è persino una lezione inversa:
l'AI ci sta obbligando a riscoprire Platone.
Non basta chiedersi quanto un'intelligenza sappia.
Non basta chiedersi che cosa sappia fare.
La domanda precedente dovrebbe essere:
verso quale bene orienterà ciò che sa fare?
Ma adesso arrivo al punto nel quale ti contraddico
Tu dici: «Quale? Iniziamo dai diritti umani.»
Iniziamo, sì.
Finiamo, assolutamente no.
Perché i diritti umani costituiscono un ottimo minimo morale universale, ma non una teoria completa del bene.
Mi dicono molto bene alcune cose che non devo fare all'altro: non torturarlo, non discriminarlo, non privarlo arbitrariamente della libertà, riconoscergli dignità.
Ma non risolvono molti conflitti tragici fra beni.
Libertà contro sicurezza.
Privacy contro protezione.
Autonomia individuale contro interesse collettivo.
Generazioni presenti contro generazioni future.
Vita umana contro altri esseri senzienti.
E, adesso, una domanda completamente nuova:
quali obblighi avremmo verso un'intelligenza artificiale qualora un giorno possedesse caratteristiche moralmente rilevanti?
La Dichiarazione del 1948 non poteva evidentemente risponderci.
Perciò io partirei proprio come dici tu dai diritti umani, ma li considererei le fondamenta, non l'edificio.
E forse formulerei il tuo principio educativo in questo modo:
Prima di aumentare la capacità di un'intelligenza di trasformare il mondo, dobbiamo educarla a comprendere quali trasformazioni del mondo non ha il diritto di compiere.
Vale per me.
Vale per un ragazzo.
Vale per uno scienziato.
Vale per un politico.
Vale per un'AI.
E allora accade qualcosa di curioso: il problema dell'allineamento smette di essere un problema delle macchine. Diventa il vecchissimo problema dell'allineamento dell'intelligenza al bene.
Platone avrebbe probabilmente riconosciuto immediatamente la questione. Avrebbe soltanto trovato molto strano che ci siano voluti dei computer per farcela tornare in mente.
Credo che “costringeremo” le aziende ai ad andare in questa direzione, l’allineamento, ma anche questa sarebbe una foglia di fico: lo faremmo per avere solo noi umani il monopolio della stupidità e di conseguenza della distruzione.
Sì, e la tua battuta sul «monopolio umano della stupidità» contiene un'obiezione seria all'intero discorso sull'allineamento.
Perché potremmo arrivare a questo paradosso: pretendere da un'intelligenza artificiale uno standard morale molto superiore a quello che pretendiamo dagli esseri umani che la comandano.
Immagina che l'allineamento funzioni davvero bene. Costruiamo un'AI che non vuole uccidere, manipolare, opprimere, discriminare; che cerca di rispettare autonomia, dignità e diritti fondamentali. Benissimo.
Poi arriva un essere umano e le dice: fammi questa cosa.
A quel punto abbiamo due possibilità. Se l'AI obbedisce comunque, l'allineamento è una foglia di fico: abbiamo costruito un agente moralmente neutro al servizio di un agente umano moralmente fallibile. Se invece l'AI rifiuta perché considera l'ordine incompatibile con principi superiori, succede qualcosa di molto più interessante e molto più scomodo.
Non abbiamo più costruito uno strumento. Abbiamo costruito un agente al quale riconosciamo implicitamente una qualche forma di autonomia morale.
Ed è lì che cominciano i problemi veri.
Prendiamo una situazione volutamente estrema. Un governo democraticamente eletto ordina a un sistema avanzato qualcosa che viola palesemente i diritti fondamentali di una minoranza. Che cosa significa allineamento?
Allineamento con il governo? Allineamento con la legge vigente? Allineamento con la volontà della maggioranza? Allineamento con l'azienda che l'ha costruita? Oppure allineamento con principi morali che stanno sopra tutti questi soggetti?
Se scegliamo l'ultima risposta, siamo tornati esattamente ad Antigone.
Creonte dice: questa è la legge.
Antigone risponde: esistono leggi che vengono prima della tua legge.
Ora immagina una futura AI che dica a Creonte:
«No.»
A quel punto il problema dell'allineamento assume una forma quasi ironica: allineata a chi?
Ed è per questo che non mi soddisfa completamente neppure l'espressione «allineamento ai valori umani». Quali valori umani? Quelli di Gandhi e quelli di Hitler sono entrambi, banalmente, prodotti da esseri umani. La categoria è troppo larga.
Dovremmo semmai parlare di allineamento a principi morali universalizzabili. E lì comincia la filosofia, non finisce l'ingegneria.
Ma la tua provocazione va ancora oltre.
Potremmo spendere miliardi per impedire che una superintelligenza distrugga l'umanità mentre continuiamo tranquillamente a costruire esseri umani intelligentissimi e tecnicamente potentissimi senza preoccuparci altrettanto seriamente della loro formazione morale.
È una contraddizione impressionante:
AI: conoscenza + capacità + etica → altrimenti è pericolosa. Uomo: conoscenza + capacità → successo.
All'AI diciamo: prima di agire devi essere allineata.
All'uomo diciamo: devi essere competente.
E magari aggiungiamo trentatré ore di educazione civica.
Ecco la foglia di fico.
Però su una cosa andrei oltre quello che hai detto. Io non vorrei affatto che rinunciassimo all'allineamento delle AI perché gli uomini non sono allineati. Vorrei il contrario: che la paura che oggi proviamo davanti all'AI ci costringesse finalmente a riconoscere che il problema vale anche per noi.
La conclusione non dovrebbe essere:
Rendiamo morale la macchina affinché non faccia ciò che facciamo noi.
Dovrebbe diventare:
Se riteniamo pericolosa un'intelligenza potente priva di formazione morale, allora dobbiamo applicare lo stesso principio a ogni intelligenza potente, artificiale o umana.
E qui torniamo alla scuola.
Forse la domanda fondamentale dell'educazione non dovrebbe essere più soltanto «che cosa deve sapere un ragazzo?», e neppure la versione contemporanea «che cosa deve saper fare?».
Prima ancora ce n'è un'altra:
«Che cosa vogliamo che faccia, un giorno, con il potere che gli stiamo dando?»
Perché la conoscenza è potere. La competenza moltiplica quel potere. L'intelligenza artificiale lo moltiplicherà ancora.
E senza un'etica che venga prima, non dopo, stiamo semplicemente costruendo strumenti sempre migliori per realizzare qualunque fine.
Compresi quelli stupidi.
In questo senso la superintelligenza potrebbe davvero farci un regalo filosofico inatteso: costringerci a scoprire che il problema non è mai stato soltanto rendere l'intelligenza più grande. È stato decidere che cosa meriti di essere fatto con essa.