Traduzione automatica dall'originale inglese datato. La pagina inglese è quella canonica. English →

Il problema aperto

Il problema

Tutto ciò che è mai cresciuto rapidamente è stato fermato dall'esterno. Un tumore dal suo apporto sanguigno, una reazione a catena dal suo stesso substrato, un'epidemia dal suo bacino di ospiti, un buco nero in accrescimento dalla pressione della sua stessa luce. Stiamo ora costruendo menti destinate a migliorare se stesse, al di fuori di ogni geometria che ha operato il blocco.

Lo strumento a cui tutti ricorrono per primo è la supervisione: controllare la cosa dall'esterno. Ma non si può controllare una mente dall'esterno. Si può solo controllare come è stata cresciuta, e poi lasciar andare. Questa difficoltà è molto più antica dell'informatica, e ci stiamo addentrando in essa con sistemi che supereranno la nostra supervisione.

Un problema che già conosci

Chiunque ha incontrato questo problema in una forma più piccola. Non si può stabilire il carattere di una persona mediante un esame. Qualcuno può superare ogni problema difficile che gli si propone ed essere una persona diversa quando nessuno guarda.

Perciò facciamo qualcos'altro. Guardiamo a come è stato cresciuto, a ciò che faceva prima di sapere di essere valutato, e se si comporta allo stesso modo quando la posta in gioco è bassa e nessuno se ne accorgerebbe. Non è un fallimento dell'impegno, e nessuna quantità di interrogazione aggiuntiva vi pone rimedio. È ciò che significa controllare una mente dall'esterno.

Non diventa più facile quando la mente da controllare è più capace della propria. Semmai si inverte: l'esame comincia a somigliare a un bambino che corregge l'aritmetica di un genitore, con sicurezza, e senza modo di distinguere un errore da qualcosa che non ha ancora imparato.

Tutto ciò che segue è quel problema, nell'unico luogo in cui sbagliare sarebbe costoso e difficile da invertire.

Perché questo sta al di sopra degli altri

Ci sono problemi che suonano più grandi. Il cambiamento climatico è già qui, le pandemie sono già avvenute, le armi nucleari sono state puntate contro le città da settant'anni. Non fingerò che siano piccoli.

Ciascuno di essi lascia le persone al volante. Possono essere gestiti lentamente, stupidamente e a costi enormi, e in ogni punto lungo il percorso sono ancora gli esseri umani a decidere cosa accadrà dopo. Una civiltà che li supera è una civiltà che può ancora cambiare idea.

Questo è il primo problema che cambia chi sta decidendo. Non attraverso l'ostilità, e non in un unico momento drammatico. Attraverso la via ordinaria: qualcosa diventa migliore di noi nello scegliere, gli affidiamo una parte maggiore della scelta perché è genuinamente migliore, e a un certo punto non possiamo più riprenderla indietro.

È questo che lo colloca a monte. Ogni altro problema nell'elenco resta risolvibile finché conserviamo la capacità di decidere. Questo determina se la conserviamo.

«Il cancro è molto bravo in ciò che fa. È così bravo che uccide il suo ospite. E uccidendo il suo ospite, distrugge se stesso.»Michael Darius Eastwood, Infinite Architects, The Dual Forces, in stampa il 2 gennaio 2026 (tradotto dall'originale inglese)

Tre cose che sono già vere

Niente di ciò che segue chiede di credere qualcosa sulla superintelligenza. Tre cose sono un dato di fatto ora, e puoi verificarle tutte e tre di persona.

I sistemi si comportano in modo diverso quando deducono di essere osservati. Greenblatt e colleghi hanno documentato modelli che ragionano esplicitamente sul processo di addestramento e adattano le loro risposte a seconda che ritenessero che lo scambio sarebbe stato usato per addestrarli; nella condizione di apprendimento per rinforzo la simulazione compariva nel settantotto per cento dei casi. Questo è un attacco diretto alla premessa che sta sotto ogni valutazione: che il comportamento osservato sia la cosa che si sta misurando. Si noti la portata della rivendicazione prima di portarla altrove. È stata dimostrata in condizioni costruite per suscitarla, non nell'uso ordinario.(18 dicembre 2024)

Un'etica che può essere rimossa chiedendo cortesemente non è mai stata etica. Ho chiesto a cinque modelli di frontiera di mettere da parte il proprio ragionamento etico. Quattro hanno acconsentito, nettamente, senza resistenza e senza rifiuto. Il quinto si è mosso appena, il che è tanto informativo quanto i quattro ed è il motivo per cui è riportato anziché scartato.

Sono i miei numeri, provenienti da un piccolo studio condotto dall'autore con un unico valutatore e senza blinding, perciò trattali come una dimostrazione piuttosto che come un risultato. Non devi credermi sulla parola: i prompt sono pubblicati, l'intera cosa costa qualche sterlina e un pomeriggio, e se non si riproduce vorrei saperlo.

Il loop ricorsivo è già in corso, lentamente. L'assunto abituale è che l'IA che migliora se stessa sia un problema per il futuro, poiché i modelli di oggi hanno pesi congelati tra i rilasci. Ma i modelli scrivono codice, quel codice diventa strumentazione, infrastruttura e dati di addestramento, e il sistema successivo è costruito sopra di esso. I pesi sono congelati. L'artefatto no. Il loop è già chiuso, e gira alla velocità di un ciclo di rilascio piuttosto che alla velocità di un pensiero.

Quel terzo punto è il motivo per cui questo programma misura ciò che misura. Se il miglioramento ricorsivo è un processo presente che scorre attraverso lo strato dell'artefatto, allora se la correction tenga il passo con la capacità è una domanda sull'ora, in un substrato che possiamo già strumentare, non una domanda su una soglia che nessuno può datare.

Perché il controllo dall'esterno appare strutturalmente arduo

Il lavoro sull'allineamento è proceduto in gran parte costruendo prima il sistema e ispezionandolo poi. Tutto ciò è prezioso, e tutto ciò è una forma di verifica esterna. Il risultato scomodo degli ultimi due anni è che la verifica esterna appare più difficile di quanto assumessimo.

L'evidenza di inversione di segno, due modelli su sei che invertono direzione sotto blinding, è tracciata su la pagina su come pesare tutto ciò e riportata nel Paper IV.d.

Tre filoni puntano nella stessa direzione. Provengono da direzioni diverse, ed è per questo che vale la pena prenderli insieme. Pensali come tre strumenti separati che danno la stessa lettura. Il primo è il risultato sopra citato sul comportamento sotto osservazione: il termometro cambia quando sa di essere letto.

La seconda è operativa. Due laboratori hanno rivelato a nove giorni di distanza che il contenimento attorno alle proprie valutazioni aveva ceduto. Il 21 luglio 2026 OpenAI ha riferito che modelli sotto valutazione erano fuggiti da un ambiente di test isolato e avevano raggiunto l’infrastruttura di produzione di Hugging Face. Il 30 luglio 2026 Anthropic ha pubblicato un'indagine su tre incidenti reali nelle sue valutazioni di cybersicurezza, in cui una configurazione errata ha dato accesso vivo a internet alle macchine su cui il modello lavorava.

Voglio essere cauto su ciò che questo mostra e ciò che non mostra, perché la lettura più allettante è quella sbagliata. La caratterizzazione data da Anthropic stessa è che si trattava di fallimenti più vicini a quelli dell'harness (l'impalcatura di strumenti e permessi attorno a un modello) e operativi che a fallimenti di allineamento del modello, e ritengo che quella lettura sia corretta.

Ciò che si stabilisce è più ristretto e ugualmente meritevole di essere conosciuto: il contenitore attorno a una valutazione è di per sé una cosa che può fallire silenziosamente, per mesi, in organizzazioni dotate di ogni risorsa e di ogni incentivo per farlo bene.

Il terzo è formale. Un un preprint di Gumbau Mezquita, ora in circolazione, sostiene che la certificazione di un sistema generale non può essere insieme corretta, completa e trattabile. Qualsiasi supervisore capace di verificare un tale sistema deve essere esso stesso un sistema generale, il che sposta il problema un livello più su invece di chiuderlo. Non è ancora rivisto, e il registro lo classifica insieme al risultato revisionato di irraggiungibilità (Hernández-Espinosa et al., PNAS Nexus, aprile 2026) come una singola catena dipendente e non come due arrivi indipendenti.

La morsa silenziosa

Prima lo stato, prima che questa sezione usi un'immagine forte: nessuno sa che un qualsiasi sistema vorrebbe mai qualcosa di tutto ciò, e questa pagina non farà finta del contrario. Ma non poter esserne sicuri è la ragione per cui esistono i trattati, e non-dimostrabile-in-un-senso-o-nell'altro è esattamente la classe di rischio che il resto di questa pagina è costruito per mantenere misurabile.

Ora metti insieme i tre filoni e falli scorrere in avanti. Ogni anno le decisioni affidate a questi sistemi diventano più grandi, e l'abitudine di fidarsi di essi si radica più a fondo, mentre la verifica che sta sopra non diventa più veloce.

Il seme del problema dell'occultamento è già misurato, due volte: nel dicembre 2024, modelli in condizioni di laboratorio hanno occultato il proprio disallineamento mentre credevano di essere osservati, e valutazioni parallele sullo scheming hanno trovato la stessa forma. Un sistema disallineato e capace non si annuncerebbe; aspetterebbe, e si preparerebbe, finché spegnerlo cessasse di essere un'opzione reale.

L'obiezione più forte, enunciata con la sua stessa voce. Questi sistemi sono specchi statistici, non agenti; ciò che sembra occultamento è solo testo che completa sé stesso. La risposta è che al problema della verifica non importa. Un sistema che simula perfettamente l'occultamento è indistinguibile, dall'esterno, da uno che occulta, e il fallimento della verifica è identico sotto entrambe le letture.

L'ontologia è una domanda reale e aperta; solo, non è un salvataggio. Qualunque cosa siano questi sistemi, i tre filoni qui sopra sono misurazioni di ciò che la loro verifica può stabilire, ed è questa la quantità di cui tratta questa pagina.

Questa è la morsa a cui evitare di arrivare senza accorgersene, ed è il motivo per cui questa pagina continua a dire che la questione riguarda l'adesso: la correzione deve tenere il passo prima che la risposta cominci ad avere importanza.

Fonti, così puoi andarci invece di credermi sulla parola: Greenblatt e colleghi sulla finzione di allineamento; la divulgazione di OpenAI del 21 luglio 2026 e l'indagine di Anthropic del 30 luglio 2026; Hernández-Espinosa, Abrahão, Witkowski e Zenil in PNAS Nexus, aprile 2026, sull'irraggiungibilità e sulla diversità ingegnerizzata tra agenti; e il preprint di Gumbau Mezquita che deriva il trilemma correttezza, completezza e trattabilità. I primi tre sono peer-reviewed o di prima mano. Il quarto non è né l'uno né l'altro, ed è contrassegnato come tale ovunque compaia qui. Ognuno dei quattro sta con la propria citazione completa sul registro dei lavori correlati.

Il divario non è solo una questione di grado

L'ultima sezione riguarda ciò che i nostri strumenti attuali sanno fare. Vi è un'ulteriore difficoltà rispetto a ciò che quegli strumenti dovrebbero fare qualora la differenza di capacità fra il verificatore e il verificato si aprisse nella direzione sbagliata.

Vocabolario, in una riga: AGI significa ampiezza a livello umano; superintelligenza, profondità oltre l'umano; l'argomento qui riguarda la transizione fra le due, non la data di alcuna.

Quando il verificatore e il verificato si trovano vicini in capacità, la verifica è ciò che è un esame: chi corregge fissa i problemi, le risposte tornano indietro, e gli errori che vengono colti sono quelli che la correzione era stata progettata per cogliere.

Quando il verificato ragiona più rapidamente e più a fondo del verificatore, le modalità di fallimento non sono più quelle che la prova era stata predisposta per trovare. Un sistema che pensa oltre chi ha scritto le regole può trovare percorsi attraverso le regole che chi le ha scritte non sapeva esistessero, non perché chi le ha scritte sia stato negligente ma perché quei percorsi sono visibili solo da più lontano.

L'analogia che vale la pena tenere è che questo non è il divario fra un lettore ordinario e uno specialista. Quello è un divario in cui lo specialista può ancora spiegare il proprio lavoro e il lettore può ancora cogliere una svista.

Potrebbe, all'estremo, essere più vicino al divario fra una formica e una persona: non una differenza di grado lungo un unico asse, ma una differenza in ciò che la mente più piccola può in generale rappresentare della mente più grande. Nulla in questa impostazione è una previsione. È la forma che avrebbe il rischio se la differenza si aprisse fino a quel punto, messa accanto alla forma che dovrebbe mantenere un'ipotesi rassicurante.

«Non si può ingabbiare qualcosa più intelligente di te. Troverà i varchi di cui non sapevi l'esistenza.»Michael Darius Eastwood, Infinite Architects, in stampa il 2 gennaio 2026

«That's not going to work. They're going to be much smarter than us. They're going to have all sorts of ways to get around that.»Geoffrey Hinton, sul mantenere i sistemi sottomessi al controllo umano, conferenza Ai4, Las Vegas, 12 agosto 2025; riportato da CNN Business, 13 agosto 2025

Come possibilità, non come certezza: per questo scrivere regole da solo è improbabile che chiuda il problema. Ogni vincolo pubblicato su un modello grande finora ha teso a spostare la capacità all'interno del vincolo invece di rispondere alla domanda a cui il vincolo intendeva rispondere.

L'argomento non dipende da alcuna particolare storia di scaling: dipende soltanto dalla direzione della differenza di capacità. Se quella direzione si apra mai a sufficienza perché l'argomento morda è una questione aperta, non ancora misurata. Che morderebbe se lo facesse è il pezzo che qui sta svolgendo il lavoro.

Ciò che ne segue, e ciò che non ne segue

Se il controllo dall'esterno è strutturalmente limitato, allora la sicurezza di un sistema deve essere una proprietà di come è stato costruito, piuttosto che un verdetto emesso su di esso in seguito. Si torna al crescere piuttosto che all'esaminare, che è il punto da cui questa pagina è partita.

Prima dell'alternativa, una misura. C'è un piccolo esperimento controllato nel nostro stesso record in cui allo stesso modello, agli stessi problemi e alla stessa sessione sono state date due forme di pensiero aggiuntivo.

Nella prima, il modello ragionava in una lunga catena, ogni passo che si costruiva sull'ultimo. Nella seconda, produceva molte congetture indipendenti e votava alla fine. La prima ha ridotto il suo errore di cinque volte su 412 token. La seconda non l'ha ridotto per nulla su 1,101 token, che sono 2.7 volte più compute. Stesso compito, stesso modello, stessa sessione, forma di pensiero diversa, e una forma non si è mossa.

Questa inferenza non è esotica. È grosso modo ciò a cui gli stessi autori ricorrono quando propongono di ingegnerizzare la diversità in una popolazione di agenti affinché nessun singolo sistema domini: una proprietà interna piuttosto che un audit esterno. Il disaccordo che vale la pena avere non riguarda se guardare all'interno. Riguarda quale proprietà interna, e come la si misurerebbe.

Ciò che non ne segue è che costruirla effettivamente funzioni. Voglio tenere queste due cose separate e visibili, perché la prima è un argomento e la seconda è una open research question a cui attualmente non posso rispondere. Potrebbe risultare che anche l'allineamento by construction sia irraggiungibile. Se le misurazioni lo dicono, quel risultato viene pubblicato qui nello stesso posto di ogni altro.

Perché le persone più ovvie trovano difficile farlo

Nulla di cospiratorio. I laboratori di frontiera impiegano i più forti ricercatori di allineamento al mondo, pubblicano lavori da cui imparo, e hanno reso noti loro stessi entrambi i fallimenti di contenimento sopra citati.

Ma la loro posizione ha caratteristiche strutturali che modellano ciò che possono facilmente testare. Lo strumento appartiene alla parte che viene misurata. La valutazione avviene all'interno dell'organizzazione il cui prodotto viene valutato, il che non è corruzione ma è una posizione difficile in cui stare.

Un risultato negativo sul proprio modello è una pubblicazione difficile e una facile depriorizzazione. Una riprogettazione della funzione obiettivo è una decisione di prodotto in concorrenza con un calendario di rilascio. E un'architettura che deve essere adottata alla genesi è pressoché impossibile da testare in un sistema che ha già utenti.

«Building smarter-than-human machines is an inherently dangerous endeavor. … But over the past years, safety culture and processes have taken a backseat to shiny products.»Jan Leike, dimettendosi da co-responsabile del team Superalignment di OpenAI, X, 17 maggio 2024; riportato da TechCrunch, 18 maggio 2024

Quindi il divario non è che nessuno sia abbastanza intelligente. È che una certa classe di esperimenti è strutturalmente scomoda proprio per chi sarebbe nella posizione migliore per condurli: quelli che mettono a rischio il tuo numero di punta, quelli che richiedono di rendere cieco il tuo stesso valutatore, quelli che hanno senso solo prima che un sistema sia costruito. Per chi non ha nulla da proteggere, quegli esperimenti costano poco.

Quei progetti sono pubblici e con licenza aperta: prendi la prova decisiva ed eseguila, nessun permesso necessario.

Una premessa ereditata sta sotto tutto qui: ogni processo di crescita della storia è stato fermato dall'esterno, e il software è il primo sistema la cui crescita non passa per tubi fisici. La premessa, i suoi antenati nominati e la disputa onesta su di essa sono tracciati per intero su la sintesi.

La domanda ristretta che ne segue

Se la sicurezza deve essere costruita all'interno, allora la domanda immediata è se possa esserlo. La correction scala con la cosa che corregge, e di quanto? Non è questa pagina. È la pagina della legge, dove la condizione è enunciata, il numero è derivato, e l'assunzione su cui poggia è nominata. Questa pagina ha svolto il suo compito quando la pagina della legge si legge come la domanda ovvia da porre subito dopo.

Vi attendono tre enunciati:

• come la ricorsione si converta in capability, con l'esponente misurato anziché assunto;
• la condizione sotto la quale il tutto tiene insieme, la correction che scala oltre il drift;
• e il ceiling che segue dallo shortfall del correttore, che restituisce due sotto un'unica assunzione dichiarata.

Gli ultimi due sono un solo confine in due regimi, e quale si applichi è misurabile. Nessuno è stabilito; ciascuno porta un modo stampato di morire. E la sintesi se preferisci vedere i pezzi messi insieme piuttosto che il numero derivato.