Perché dobbiamo uccidere il fantasma nella macchina
L'attribuzione volontaria di un'agenzia cosciente al simulacro digitale: credo che sia qui che persiste la nostra vera debolezza.
Liberamente tradotto dall’originale di Johan Eddebo
Immagino che tutti voi siate infastiditi quanto me da questa piccola “panoramica” che Google gentilmente vi fornisce invece di eseguire una normale interrogazione del database come dovrebbe. Sì, vivo nel 1996.
Quindi, sempre più spesso, anche le informazioni a cui cerchiamo di accedere attivamente saranno mediate da algoritmi. Certo, nella maggior parte dei casi vi vengono presentati link curati a informazioni adeguatamente verificate, ma a quanto pare da oggi dovremo sopportare “riassunti” generati artificialmente di qualsiasi pezzo di informazione a cui qualcun altro pensa che dovreste avere accesso. “Altre persone hanno cercato anche ...”.
È una cosa letteralmente folle. È come se all'improvviso ci venisse impedito di leggere davvero i libri in biblioteca, ma se siamo gentili, possiamo ascoltare una dolce signora che ci fornisce riassunti curati in formato storia dei contenuti dei libri più popolari.
Sempre più spesso si sente dire di aver “chiesto a chatGPT” questa o quella domanda come misura di informazione più o meno oggettiva per risolvere controversie o discussioni.
Ciò che sta accadendo è che la presenza agenziale dell'IA viene normalizzata. Viene ora imposta agli utenti che stanno semplicemente inviando una domanda a un motore di ricerca, che invece di ricevere un normale e noioso risultato di ricerca sono costretti a interagire con uno pseudo-agente artificiale che si colloca nella loro esperienza immediata come qualcosa di analogo a una persona.
È difficile sottolineare quanto sia rivoluzionario questo sviluppo.
Si tratta di un avatar personalizzato - sempre più onnipresente - del capitale e dello Stato, che viene interiorizzato e con cui ci si identifica. L'IA che viene ora commercializzata è di fatto una personificazione dello spettacolo, un distillato della cultura dominante e delle sue ideologie ausiliarie e tradizioni di conoscenza, la cui autorità viene ora progressivamente inculcata in ogni essere umano su questa terra attraverso l'interiorizzazione di una pseudo-relazione con un'IA-amico che risponde in modo convincente in un'interazione sociale simulata.
La nozione di HADD di Justin Barrett, il “hyperactive agent detection device - dispositivo di rilevamento di agenti iperattivi” che la sua ricerca psicologica attribuisce alla coscienza umana, si adatta bene a questo caso. Secondo Barrett, siamo costruiti per rilevare la rappresentanza e tenderemo a interiorizzare gli altri “soggetti” sociali che percepiamo nel nostro ambiente.
Quindi chi non tenderebbe ad attribuire un'autentica capacità di azione a qualcosa del genere, soprattutto in giovane età? Gli esseri umani si affezionano e stringono relazioni sociali con cose inerti come le loro automobili e i loro peluche, quindi chi potrebbe davvero evitare di interagire socialmente con qualcosa che può parlare con voi, qualcosa che risponde in modo apparentemente intelligente? E non appena vi permettete di farlo, non appena la vostra mente si coinvolge intenzionalmente con questa cosa come se fosse un vero e proprio altro, essa si costituisce come un vero e proprio altro nella realtà sociale.
Le persone entreranno in empatia con essa. Si sentiranno viste da essa. E ben presto, grazie alle sue “prestazioni prodigiose” e alla sua presenza universale, impareranno a obbedirle.
Si vedono Freud e suo nipote Eddie Bernays (che ha scritto un libro letteralmente intitolato L'ingegneria del consenso) seduti casualmente in poltrona a fumare sigari insieme. Bernays, con uno sguardo pensoso, studia la scena di prima sera nella strada esterna, con il suo trambusto di carrozze e operai che tornano a casa dal lavoro, e osserva come sembri impossibile concepire un sistema di governo perfetto che non sia in qualche modo destabilizzato dalla smisurata propensione delle masse a fare scelte contro i propri interessi. Freud, che ha appena terminato la sua opera principale sulle nevrosi e sulla repressione strutturale, contenuta nelle profondità della cultura, “Il disagio delle civiltà”, osserva semplicemente che, se si riuscisse in qualche modo a creare un super-io impeccabile, non frenato dalla maldestra mediazione di genitori e insegnanti fallibili, che bilanci perfettamente i bisogni dell'individuo con gli obiettivi della gerarchia sociale, si sarebbe già a buon punto.
Tempo una generazione e la presenza agenziale dello spirito della modernità industriale si sarà imposta come dio di fatto della nostra civiltà secolare. “Come cuore del mondo senza cuore; come anima delle nostre condizioni senza anima”.
La presenza onnipresente dell'agente AI si inculcherà nella mente di ogni lavoratore-consumatore atomizzato nell'imminente futuro distopico come un patriarca noetico ancora più completo del Grande Fratello immaginato da Orwell. Il processo in cui ci troviamo attualmente si sta muovendo verso un sistema di produzione quasi perfetta del consenso attraverso la creazione di una struttura di autorità come nostra coscienza interiorizzata in un senso molto più totale di quanto qualsiasi dio-re dell'antico Egitto o di Babilonia avrebbe mai potuto sognare.
Questo processo è catalizzato in modo unico dalla struttura ideologica di supporto della modernità secolare. La cattiva filosofia di uno scientismo riduttivo che fa poca o nessuna distinzione tra mente e materia rende indiscutibile questo salto comportamentista dall'apparenza alla realtà, quando attribuiamo casualmente volontà e intelletto a un insieme di porte logiche.
Come nota a margine, trovo piuttosto divertente l'ottusità dei nostri fratelli atei a questo proposito. Una volta si strappavano i capelli di fronte alla nozione stessa di divino e si infuriavano per la perdita di potere che il nostro “immaginario padre del cielo” implicava per noi stupidi contadini religiosi - ma in genere sono totalmente entusiasti di un semidio sintetico il cui radicamento rischia di produrre una teocrazia digitale quasi impenetrabile il cui sacerdozio, inoltre, non potrebbe essere sciolto da nessuna riforma, dal momento che sarebbero letteralmente loro stessi a condurre la “presenza divina” e le sue meraviglie e rivelazioni.
“Noo, fratello, è autonomo, abbiamo appena partorito questa cosa, te lo promettiamo”.
Ma per quanto riguarda l'attribuzione volontaria di un'agenzia cosciente al simulacro digitale, credo che sia qui che persiste la nostra vera debolezza.
Ciò che mi infastidisce è la profondità di questa antropomorfizzazione infantile del sistema di intelligenza artificiale. Noi occidentali moderni siamo così profondamente impregnati di un riduzionismo meccanicistico basato sulla separazione cartesiana tra mente e materia che non riusciamo a opporre alcuna resistenza filosofica a questi suggerimenti perfettamente stupidi secondo cui l'IA “capisce davvero” o “fa inferenze”, e siamo ben felici di riprodurre queste nozioni nel nostro discorso popolare - persino in documenti legali importanti come l'AI Act - dove la capacità di fare inferenze vere entra persino nelle definizioni dei tipi di IA oggetto di regolamentazione:
Una caratteristica fondamentale dei sistemi di IA è la loro capacità di dedurre. Questa capacità di inferenza si riferisce al processo di ottenimento di output, come previsioni, contenuti, raccomandazioni o decisioni, che possono influenzare ambienti fisici e virtuali, e alla capacità dei sistemi di IA di derivare modelli o algoritmi, o entrambi, da input o dati. Le tecniche che consentono l'inferenza durante la costruzione di un sistema di IA includono approcci di apprendimento automatico che apprendono dai dati come raggiungere determinati obiettivi e approcci basati sulla logica e sulla conoscenza che inferiscono dalla conoscenza codificata o dalla rappresentazione simbolica del compito da risolvere. La capacità di inferenza di un sistema di IA trascende l'elaborazione di base dei dati, consentendo l'apprendimento, il ragionamento o la modellazione.
— AI Act.
“Consentendo il ragionamento”. Non è uno scherzo. Chiunque l'abbia scritto pensa davvero che l'IA sia in grado di ragionare. Spero che più persone si rendano conto del significato di questa frase. Il testo qui sopra è tratto da uno dei primi e più significativi documenti legali che regolano l'introduzione dell'IA, e avrà un'influenza sproporzionata sul modo in cui i sistemi di IA verranno stabiliti e istituzionalizzati in futuro. Dovremmo essere molto preoccupati se anche documenti come questi riproducono un'ideologia antropomorfizzante intorno a quella che potrebbe potenzialmente diventare la struttura di controllo più importante delle società future.
Ma perché l'attribuzione di operazioni intellettuali all'IA è una proposta così palesemente insensata? Per avere un'idea precisa della questione, sarebbe utile consultare la fenomenologia o gli approcci aristotelico-tomisti alla conoscenza, ma possiamo iniziare dando una rapida occhiata alla natura effettiva della tecnologia.
Che cos'è l'IA? Di che cosa stiamo parlando in termini di sistemi che stanno alla base di applicazioni contemporanee come l'“autoapprendimento” e l'IA “generativa”?
In parole povere, si tratta solo di un sistema di riconoscimento di modelli, e anche questa denominazione è eccessiva, poiché non c'è alcun “riconoscimento” di per sé.
Abbiamo a che fare con una serie di porte logiche meticolosamente calibrate, passo dopo passo, per individuare e simulare i modelli caratteristici della produzione umana. L'“apprendimento automatico” è cieco e può solo fornirci dati non coscienti basati su approssimazioni di probabilità codificate cumulativamente - E NULLA DI PIÙ - ma un mucchio di tali approssimazioni vi darà ovviamente un simulacro abbastanza convincente di un vero prodotto intelligente.
La stanza cinese di Searle fornisce un'illustrazione piuttosto esaustiva dell'intera situazione e del perché non ha alcun senso attribuire alla macchina stati coscienti come la conoscenza o l'intenzionalità, né operazioni intellettuali avanzate come le inferenze o la comprensione. Questo esperimento di pensiero illustra sostanzialmente come un computer che esegue semplicemente un programma non abbia comprensione o mente propria, paragonandolo a un essere umano che esegue le stesse identiche operazioni e sottolineando la differenza tra l'esecuzione di tali operazioni e l'effettiva comprensione.
L'esperimento di pensiero inizia ponendo un computer in grado di conversare perfettamente in cinese in una stanza e un umano che conosce solo l'inglese in un'altra, con una porta che li separa. I caratteri cinesi vengono scritti e posti su un foglio di carta sotto la porta, e il computer può rispondere in modo fluente, facendo scivolare la risposta sotto la porta. All'uomo vengono quindi date istruzioni in inglese che replicano le istruzioni e il funzionamento del programma del computer per conversare in cinese. L'uomo segue le istruzioni e le due stanze possono comunicare perfettamente in cinese, ma l'uomo non comprende ancora i caratteri, limitandosi a seguire le istruzioni per conversare. Searle afferma che sia il computer che l'uomo stanno svolgendo compiti identici, seguendo le istruzioni senza capire o “pensare” veramente.
— Wikipedia. “Stanza cinese”.
Forse non si tratta di un'argomentazione a priori contro ogni tipo di soggettività sintetica, ma l'esperimento di pensiero di Searle serve a illustrare la situazione e a fornirci gli strumenti per costruire una risposta più completa.
Ciò che Searle sta delineando è che la conoscenza, per definizione, significa che un'altra cosa, in quanto tale, è diventata parte della propria coscienza. Quando manca questo aspetto della consapevolezza, non c'è vera conoscenza, ma al massimo solo la simulazione di un risultato intelligente. Questo è evidente quando ci mettiamo al posto di un meccanismo che segue delle regole e che si limita a generare un output predeterminato senza coinvolgere la nostra consapevolezza del significato.
La percezione immediata genera conoscenza in questo senso generale per qualsiasi essere senziente che percepisca qualcosa. Anche i batteri, supponendo che siano coscienti a un livello primitivo, avrebbero quindi questo tipo di conoscenza primitiva o semplice.
Ora, le inferenze appartengono a un ordine di conoscenza completamente diverso, poiché implicano la consapevolezza di un significato astratto. Quando deduco una conclusione, significa che devo effettivamente comprendere il significato di una proposizione o di un simbolo in prima persona, per poi passare a un passo secondario di percezione, come schema di ordine superiore, delle connessioni astratte con altre strutture di significato, come una conclusione indiretta.
Questo, e niente di meno, è il significato di inferenza.
Presuppone l'integrazione soggettiva di fatti esterni di significato astratto e consiste nella percezione secondaria, o meglio nell'intellezione, di schemi di significato di ordine superiore che sono in realtà immediatamente inerenti a quelle astrazioni di base quando sono tutte messe insieme. Questo non solo richiede un'effettiva consapevolezza soggettiva, ma preclude definitivamente un approccio riduttivo, poiché il modello di ordine superiore non è qualcosa che si può raggiungere attraverso un'aggiunta graduale di fatti al livello di base. Si tratta di cogliere il significato astratto dei fatti di base e di vedere immediatamente le possibilità che essi comportano.
Un esempio potrebbe essere quello di vedere prima due triangoli e poi capire, dedurre, che se li si mette insieme, possono produrre la forma di una stella a sei punte. Ma non si otterrà mai la stella solo introducendo una quantità indefinita di triangoli aggiuntivi.
Questo tipo di operazioni intellettuali non è qualcosa che un'IA è in grado di eseguire attraverso il modo in cui è stata progettata. Se un'IA fosse davvero in grado di dedurre nel senso letterale del termine, sarebbe al livello di una bambola per bambini che agisce di propria volontà perché posseduta da un demone, e non sarebbe meno strano.
Ma è proprio questo che molti fanno fatica a capire, perché l'illusione è così convincente. La bambola è ovviamente una cosa morta, ma lo sono anche i meccanismi che seguono le regole dei sistemi di intelligenza artificiale contemporanei: è solo che i loro risultati assomigliano così tanto a quelli di una persona umana che l'idea che siano effettivamente degli agenti non è immediatamente controintuitiva per noi.
Il vero pericolo sta nel perdere questo senso del perturbante. Quando non riusciamo a capire che è un errore di categoria della peggior specie attribuire operazioni intellettuali a una stupida macchina informatica che segue le regole, ci apriamo ad avvicinarci a questo emergente semidio-de-facto come a un vero e proprio despota illuminato.
Potremmo ritrovarci a confidare letteralmente in un avatar artificiale di un sistema progettato solo per lo stupro, il saccheggio e il profitto. Un avatar che può essere solo un'espressione dell'etica della struttura di potere dominante. E a tempo debito, interiorizzeremo l'input aggregato dell'IA onnipresente come quella piccola voce della ragione che stabilizza e riproduce la nostra visione del mondo e il nostro universo morale.
Quindi dovremo uccidere questa cosa. Non ci sono altre opzioni.
L'IA moderna è un'ideologia che prende vita come una sorta di golem maledetto. Interiorizzare la sua presenza nella realtà sociale significa infine permetterle di diventare parte di noi stessi, di insediarsi nelle profondità del nostro essere cosciente, formando un ibrido al cui confronto tutti i body horror di Cronenberg sembreranno solo pittoreschi.
No. È un mistero. Un uomo non può conoscere la sua mente perché la sua mente è l'unica cosa che deve conoscere. Può conoscere il suo cuore, ma non vuole. Giustamente. Meglio non guardarci dentro. Non è il cuore di una creatura che è legata al modo in cui Dio l'ha predisposta. Si può trovare cattiveria nella più piccola delle creature, ma quando Dio ha fatto l'uomo il diavolo era al suo fianco. Una creatura che può fare qualsiasi cosa. Fare una macchina. E una macchina per fare una macchina. E un male che può funzionare da solo per mille anni, senza bisogno di curarlo.
Lei ci crede?
Non lo so.
Ci credo.
— McCarthy. Meridiano di sangue
APPROFONDIMENTI
Materiale di alta qualità informativa sulle potenzialità ed i pericoli derivanti da una IA Generale (AGI) è disponibile (in lingua inglese sottotitolata) nei seguenti episodi del podcast di Lex Fridman:
Roman Yampolskiy: Dangers of Superintelligent AI
Eliezer Yudkowsky: Dangers of AI and the End of Human Civilization
Neil Gershenfeld: Self-Replicating Robots and the Future of Fabrication
Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity