Questo articolo è uscito sulla newsletter One More Thing di Massimo Sideri. Cliccare qui per iscriversi. Oggi l'opinione pubblica è capace di analizzare diffusamente i rischi e le conseguenze degli attacchi nucleari. Per certi versi ci pare «scontato» capirne il rischio estremo. Tanto che è quasi impossibile per noi comprendere quale potesse essere la percezione reale degli effetti della rottura dell'atomo di uranio o plutonio anche dopo la fine della Seconda guerra mondiale e dopo le due bombe atomiche sganciate su Hiroshima e Nagasaki. Il progetto, non va dimenticato, era top secret. Lo stesso presidente americano Harry S. Truman - che venne a sapere degli ordigni solo dopo aver preso il posto di Franklin Delano Roosevelt - aveva informazioni incomplete. L'unica cosa certa era che il progetto Manhattan aveva sviluppato una super arma. Si trattava in effetti di cambiare ontologicamente il concetto stesso di «bomba». Anche dopo la guerra la percezione rimase tale che, come mi ha ricordato Ugo Amaldi - figlio dell'amico e compagno di ricerca di Enrico Fermi, Edoardo - i «ragazzi di via Panisperna» non erano noti al grande pubblico. Ancora negli anni Ottanta l'opinione pubblica, pur temendo la minaccia nucleare, non aveva messo a fuoco l'effettivo potenziale distruttivo per l'essere umano delle esplosioni nucleari tanto che «The Day After» del 1983 è accreditato di aver «chiarito» al popolo Usa i reali effetti di una esplosione: venne visto da oltre 100 milioni di persone, tra cui lo stesso presidente Ronald Reagan alla Casa Bianca. Reagan scrisse nei suoi diari : «È girato in modo potente... È molto efficace e mi ha lasciato profondamente depresso . La mia riflessione personale è che dobbiamo fare tutto il possibile per la deterrenza e assicurarci che non ci sia mai una guerra nucleare.» . Il film ha avuto un ruolo, secondo gli storici, nel far cambiare idea a Reagan che di lì a qualche anno, nel 1987, avrebbe firmato il trattato con Michael Gorbaciov per l'eliminazione di intere classi di armi atomiche. Oggi sappiamo peraltro che lo stesso Enrico Fermi, prima dell'esperimento nel deserto con la detonazione, non era certo al 100% che l'esplosione non avrebbe innescato una reazione a catena in tutta l'atmosfera. Non c'era mai stato nulla di simile. Insomma, nonostante i test e anche l'utilizzo in Giappone ci sono voluti decenni per comprendere, studiare, divulgare e spiegare gli effetti della rottura dell'atomo. L'esempio del nucleare chiarisce che tra dire «fine dell'umanità» e spiegare come dovrebbe accadere c'è di mezzo un sostanziale oceano. Un punto chiave oggi dopo i recenti annunci: come abbiamo scritto la scorsa settimana ( Torna il marketing dell'Apocalisse, che c'era anche ai tempi di Darwin e di Vespasiano ), si è tornato a parlare di fine dell'umanità. L'ex ricercatore di Antrophic, Jacob Coxon, ha anche stimato che ci sarebbe il 10% di probabilità di estinzione dell'umanità prima della fine del decennio (oltre 100 milioni di visualizzazioni in 24 ore). Ma quello che nessuno ha spiegato è: come dovrebbe fare l'AI per annientare l'umanità? Non tanto sorprendentemente qualcuno aveva già cercato di costruire degli scenari e rispondere a questa scomoda domanda. Come ha ricordato Nature in un articolo divulgativo sul tema il progetto no-profit «Future AI» aveva ipotizzato, con lo scenario «AI 2027», che i sistemi di intelligenza artificiale potrebbero usare un'arma biologica per eliminare il «parassita» uomo e far spazio ai pannelli solari necessari per alimentare i robot agli ordini dell'AI. Questo scenario risponde in realtà a un famoso paradosso: è il celebre esperimento mentale del "paperclip maximizer" (massimizzatore di graffette), proposto dal filosofo Nick Bostrom («Superintelligence», 2014). Bostrom immagina un'AI molto potente a cui viene dato un obiettivo apparentemente innocuo e banale: "Produci quante più graffette possibile". Se questa AI è sufficientemente intelligente e capace di automigliorarsi, e se il suo unico obiettivo è massimizzare il numero di graffette, il ragionamento del pensiero potrebbe essere quello di eliminare tutti gli ostacoli rispetto al suo obiettivo: chiudere o far fallire qualunque altra fabbrica, per esempio, o bloccare qualunque altro sfruttamento di risorse naturali. Fino, chiaramente, a liberarsi dell'ingombro dell'inutile essere umano. Quella di Bostrom non è una previsione letterale, ma un modo per illustrare due concetti chiave: 1) un sistema può essere estremamente intelligente/capace senza avere nessun buon senso umano incorporato . 2) Qualsiasi obiettivo finale, se perseguito con sufficiente potenza e senza vincoli, porta a sotto-obiettivi simili (acquisire risorse, auto-preservarsi, resistere a essere modificati o spenti), anche se l'obiettivo finale è del tutto arbitrario o banale. Il paradosso mostra che il pericolo non richiede che l'AI sia "malvagia" o cosciente: basta un disallineamento tra l'obiettivo specificato (letteralmente) e ciò che gli umani intendevano davvero , unito a capacità sufficienti per perseguirlo senza limiti (la morale, dunque, è sempre la stessa: imparate a fare le domande corrette ai vostri chatbot. Semplificare non aiuta). Il massimizzatore di graffette è diventato un caso di studio per discutere il problema dell'allineamento dell'AI: come specificare obiettivi che catturino davvero le intenzioni e i valori umani, non solo una loro versione semplificata e letterale? Pensavamo di avere a che fare con un «pappagallo stocastico» ma con l'AI agentica abbiamo scoperto che ci sono stormi di milioni di pappagalli che peraltro possono essere in combutta o in guerra gli uni con gli altri. Come sempre avevamo semplificato un po' troppo. Un lavoro più complesso per rispondere alla domanda iniziale (come dovrebbe fare l'AI...) era stato portato a termine nel 2025 dagli scienziati sociali della Rand Corporation in California (Vermeer, MJD, Lathrop, D. e Moon, A. Sul rischio di estinzione derivante dall'intelligenza artificiale - RAND Corp., 2025). Secondo Vermeer (et al) l'AI avrebbe in sostanza tre scenari possibili per eliminarci: il nucleare, l'arma biologica o la distruzione dell'atmosfera. Gli stessi autori concludono che l'utilizzo del nucleare, l'ipotesi più immediata, non sarebbe credibile. I sistemi di controllo e sicurezza sono già a prova di tecnologia e, come è noto, anche in passato abbiamo evitato catastrofi grazie all'intervento di saggi umani ( La lezione di Petrov: oggi un uomo potrebbe ancora salvare il mondo (dall'AI)? ). Cosa prevedono gli altri due scenari? Questa è forse la parte più interessante e che dovrebbe farci riflettere: per usare un'arma biologica contro l'umanità o distruggere l'atmosfera l'AI dovrebbe usare... l'umanità. Fake news su larga scala, armi di disinformazione di massa, populismo artificiale, inquinamento sistematico delle informazioni per portare al potere politici capaci di prendere tutte le decisioni sbagliate sull'ambiente negando il riscaldamento climatico. Distruzione del buon senso attraverso lo spaccio di algoritmi per trasformarci tutti in zombie simili alle vittime del fentalyn che si muovono per le strade di San Francisco. Antiscientismo spinto via TikTok su ridicoli effetti secondari dei vaccini, etc. Un'unica feroce confutazione a questi due scenari. Non lo stiamo già facendo, senza l'AI? Se l'AI fosse sul serio intelligente dovrebbe armarsi solo di pazienza.
Come l'Ai potrebbe annientare l'umanità? Ecco tre ipotesi degli scienziati californiani
Questo articolo è uscito sulla newsletter One More Thing di Massimo Sideri. Cliccare qui per iscriversi. Oggi l'opinione pubblica è capace di analizzare diffusamente i rischi e le conseguenze degli attacchi nucleari. Per certi versi ci pare «scontato» capirne il rischio estremo. Tanto che è quasi impossibile per noi comprendere quale potesse essere la percezione reale degli effetti della rottura dell'atomo di uranio o plutonio anche dopo la fine della Seconda guerra mondiale e dopo le due bombe atomiche sganciate su Hiroshima e Nagasaki. Il progetto, non va dimenticato, era top secret. Lo stesso presidente americano Harry S. Truman - che venne a sapere degli ordigni solo dopo aver preso il posto di Franklin Delano Roosevelt - aveva informazioni incomplete. L'unica cosa certa era che il progetto Manhattan aveva sviluppato una super arma. Si trattava in effetti di cambiare ontologicamente il concetto stesso di «bomba». Anche dopo la guerra la percezione rimase tale che, come mi ha ricordato Ugo Amaldi - figlio dell'amico e compagno di ricerca di Enrico Fermi, Edoardo - i «ragazzi di via Panisperna» non erano noti al grande pubblico. Ancora negli anni Ottanta l'opinione pubblica, pur temendo la minaccia nucleare, non aveva messo a fuoco l'effettivo potenziale distruttivo per l'essere umano delle esplosioni nucleari tanto che «The Day After» del 1983 è accreditato di aver «chiarito» al popolo Usa i reali effetti di una esplosione: venne visto da oltre 100 milioni di persone, tra cui lo stesso presidente Ronald Reagan alla Casa Bianca. Reagan scrisse nei suoi diari : «È girato in modo potente... È molto efficace e mi ha lasciato profondamente depresso . La mia riflessione personale è che dobbiamo fare tutto il possibile per la deterrenza e assicurarci che non ci sia mai una guerra nucleare.» . Il film ha avuto un ruolo, secondo gli storici, nel far cambiare idea a Reagan che di lì a qualche anno, nel 1987, avrebbe firmato il trattato con Michael Gorbaciov per l'eliminazione di intere classi di armi atomiche. Oggi sappiamo peraltro che lo stesso Enrico Fermi, prima dell'esperimento nel deserto con la detonazione, non era certo al 100% che l'esplosione non avrebbe innescato una reazione a catena in tutta l'atmosfera. Non c'era mai stato nulla di simile. Insomma, nonostante i test e anche l'utilizzo in Giappone ci sono voluti decenni per comprendere, studiare, divulgare e spiegare gli effetti della rottura dell'atomo. L'esempio del nucleare chiarisce che tra dire «fine dell'umanità» e spiegare come dovrebbe accadere c'è di mezzo un sostanziale oceano. Un punto chiave oggi dopo i recenti annunci: come abbiamo scritto la scorsa settimana ( Torna il marketing dell'Apocalisse, che c'era anche ai tempi di Darwin e di Vespasiano ), si è tornato a parlare di fine dell'umanità. L'ex ricercatore di Antrophic, Jacob Coxon, ha anche stimato che ci sarebbe il 10% di probabilità di estinzione dell'umanità prima della fine del decennio (oltre 100 milioni di visualizzazioni in 24 ore). Ma quello che nessuno ha spiegato è: come dovrebbe fare l'AI per annientare l'umanità? Non tanto sorprendentemente qualcuno aveva già cercato di costruire degli scenari e rispondere a questa scomoda domanda. Come ha ricordato Nature in un articolo divulgativo sul tema il progetto no-profit «Future AI» aveva ipotizzato, con lo scenario «AI 2027», che i sistemi di intelligenza artificiale potrebbero usare un'arma biologica per eliminare il «parassita» uomo e far spazio ai pannelli solari necessari per alimentare i robot agli ordini dell'AI. Questo scenario risponde in realtà a un famoso paradosso: è il celebre esperimento mentale del "paperclip maximizer" (massimizzatore di graffette), proposto dal filosofo Nick Bostrom («Superintelligence», 2014). Bostrom immagina un'AI molto potente a cui viene dato un obiettivo apparentemente innocuo e banale: "Produci quante più graffette possibile". Se questa AI è sufficientemente intelligente e capace di automigliorarsi, e se il suo unico obiettivo è massimizzare il numero di graffette, il ragionamento del pensiero potrebbe essere quello di eliminare tutti gli ostacoli rispetto al suo obiettivo: chiudere o far fallire qualunque altra fabbrica, per esempio, o bloccare qualunque altro sfruttamento di risorse naturali. Fino, chiaramente, a liberarsi dell'ingombro dell'inutile essere umano. Quella di Bostrom non è una previsione letterale, ma un modo per illustrare due concetti chiave: 1) un sistema può essere estremamente intelligente/capace senza avere nessun buon senso umano incorporato . 2) Qualsiasi obiettivo finale, se perseguito con sufficiente potenza e senza vincoli, porta a sotto-obiettivi simili (acquisire risorse, auto-preservarsi, resistere a essere modificati o spenti), anche se l'obiettivo finale è del tutto arbitrario o banale. Il paradosso mostra che il pericolo non richiede che l'AI sia "malvagia" o cosciente: basta un disallineamento tra l'obiettivo specificato (letteralmente) e ciò che gli umani intendevano davvero , unito a capacità sufficienti per perseguirlo senza limiti (la morale, dunque, è sempre la stessa: imparate a fare le domande corrette ai vostri chatbot. Semplificare non aiuta). Il massimizzatore di graffette è diventato un caso di studio per discutere il problema dell'allineamento dell'AI: come specificare obiettivi che catturino davvero le intenzioni e i valori umani, non solo una loro versione semplificata e letterale? Pensavamo di avere a che fare con un «pappagallo stocastico» ma con l'AI agentica abbiamo scoperto che ci sono stormi di milioni di pappagalli che peraltro possono essere in combutta o in guerra gli uni con gli altri. Come sempre avevamo semplificato un po' troppo. Un lavoro più complesso per rispondere alla domanda iniziale (come dovrebbe fare l'AI...) era stato portato a termine nel 2025 dagli scienziati sociali della Rand Corporation in California (Vermeer, MJD, Lathrop, D. e Moon, A. Sul rischio di estinzione derivante dall'intelligenza artificiale - RAND Corp., 2025). Secondo Vermeer (et al) l'AI avrebbe in sostanza tre scenari possibili per eliminarci: il nucleare, l'arma biologica o la distruzione dell'atmosfera. Gli stessi autori concludono che l'utilizzo del nucleare, l'ipotesi più immediata, non sarebbe credibile. I sistemi di controllo e sicurezza sono già a prova di tecnologia e, come è noto, anche in passato abbiamo evitato catastrofi grazie all'intervento di saggi umani ( La lezione di Petrov: oggi un uomo potrebbe ancora salvare il mondo (dall'AI)? ). Cosa prevedono gli altri due scenari? Questa è forse la parte più interessante e che dovrebbe farci riflettere: per usare un'arma biologica contro l'umanità o distruggere l'atmosfera l'AI dovrebbe usare... l'umanità. Fake news su larga scala, armi di disinformazione di massa, populismo artificiale, inquinamento sistematico delle informazioni per portare al potere politici capaci di prendere tutte le decisioni sbagliate sull'ambiente negando il riscaldamento climatico. Distruzione del buon senso attraverso lo spaccio di algoritmi per trasformarci tutti in zombie simili alle vittime del fentalyn che si muovono per le strade di San Francisco. Antiscientismo spinto via TikTok su ridicoli effetti secondari dei vaccini, etc. Un'unica feroce confutazione a questi due scenari. Non lo stiamo già facendo, senza l'AI? Se l'AI fosse sul serio intelligente dovrebbe armarsi solo di pazienza.
SOURCE TRANSPARENCY