Possiamo fidarci dell’Intelligenza Artificiale? La risposta di Fredric Brown

Il dibattito sull’utilizzo dell’Intelligenza Artificiale nella scrittura e nell’editoria si sta scaldando, soprattutto dopo la pubblicazione di alcuni studi, uno citato anche dal New York Times lo scorso luglio, che evidenziano come i libri scritti con l’Intelligenza Artificiale stiano sempre più invadendo il mercato e penalizzando le vendite delle produzioni interamente autoriali, soprattutto nella narrativa di genere (Fonte: Giornale della Libreria) Si vocifera che addirittura il 22% dei libri caricati su Amazon nell’ultimo anno siano stati scritti, pardon, “generati” è il termine corretto, con l’Intelligenza Artificiale e pure sulla classifica dei bestseller 1 su 10 sarebbe stato prodotto con l’utilizzo sostanziale dell’Intelligenza Artificiale (cioè più del 25% del testo è generato dalla tecnologia). Numeri importanti che non si possono più ignorare, sia per l’impatto economico sull’intera filiera editoriale sia per l’effetto negativo sui lettori, costretti a destreggiarsi tra contenuti di bassissimo livello (in gergo informatico, gli “slop”, acronimo di Spammy, Low-quality, Over-Produced, che in italiano traduciamo con “sbobba”).

L’editoria per altro ha adottato un atteggiamento ambiguo nei confronti dell’Intelligenza Artificiale: da una parte esalta le opportunità offerte da questa tecnologia, per ottimizzare tutto il processo editoriale, abbattere i costi di gestione e aumentare i profitti, credendo questa sia la soluzione alla perenne crisi del mercato; dall’altra, è preoccupata per la violazione del diritto d’autore, dato che i modelli di Intelligenza Artificiale sono stati addestrati, senza alcuna ombra di dubbio oramai, considerate le diverse cause legali in corso sia in Europa che in America, su testi pubblicati e coperti da copyright. Emblematica la causa Penguin Random House contro OpenAI, depositata lo scorso marco al Tribunale Regionale di Monaco: la disputa non riguarda solo l’impiego dei libri della casa editrice per l’addestramento di ChatGPT, ma il fenomeno della memorizzazione di quei testi, cioè la possibilità che ChatGPT li fornisca all’utente finale, spacciandoli per contenuti nuovi generati in autonomia (Fonte: Giornale della Libreria)
L’assurdo dell’editoria è poi pretendere la massima onestà dallo scrittore esordiente, in merito all’utilizzo o meno dell’Intelligenza Artificiale durante il processo creativo, mentre si nicchia clamorosamente quando l’autore chiede la medesima onestà alle figure professionali del mercato editoriale (editor, correttori di bozze, agenti, revisori, traduttori). Quanti contratti di valutazione, editing e pubblicazione contengono una clausola specifica di esclusione dell’utilizzo dell’Intelligenza Artificiale nella lavorazione successiva del manoscritto?! 🙁

In un video su Instagram si parlava esattamente di questo tema, derubricando alcuni rischi dell’uso dell’Intelligenza Artificiale nella scrittura e nascondendo del tutto altri pericoli, meno evidenti ma comunque reali.
Da informatico, che ahimè è pure costretto a lavorare con l’Intelligenza Artificiale (per altro in un ambito delicato, con dati sensibili che non devono assolutamente uscire dall’Unione Europea), sconsiglio caldamente di utilizzare l’Intelligenza Artificiale nella scrittura creativa. Posso capire di impiegarla come metodologia di ricerca potenziata, verificando poi opportunamente la qualità dei risultati, ma mai e poi mai fornire il proprio manoscritto inedito all’Intelligenza Artificiale perché lo corregga, lo migliori, ne produca un riassunto, una sinossi, un piano di marketing pubblicitario. Per migliorare la qualità delle risposte dell’Intelligenza Artificiale, i modelli sono in continuo addestramento, hanno una fame assurda di dati e non gli interessa minimamente se il processo sia lecito o meno. Gli interessi economici in campo sono purtroppo elevati. La conseguenza è che tutte le conversazioni dell’utente sono memorizzate per continuare proprio quell’addestramento. Il vostro manoscritto inedito quindi diventa parte dell’archivio dell’Intelligenza Artificiale, con buona pace del vostro diritto d’autore. Vi diranno che non è vero, che la piattaforma che state usando non registra le vostre conversazioni, che da contratto vi garantiscono che i vostri contenuti restano vostri e nessuno li utilizzerà mai per addestrare i modelli. Ma in realtà voi non avete modo di saperlo. Non è verificabile, non è controllabile. Le prove portate in causa da Penguin Random House contro OpenAI dimostrano poi che il vostro manoscritto rischierebbe di finire in una risposta ad altro utente, che magari pubblicherà prima di voi e vi toccherà aprire un contenzioso per riappropriarvi del vostro copyright. Siete disposti ad accettare questo rischio?!

Questo ho espresso, per l’ennesima volta, in un commento e la reazione dell’autore del contenuto mi ha colta di sorpresa. Inizialmente mi ha deriso. Poi, non riuscendo a ribattere tecnicamente sul punto, ha chiamato in sua difesa gli amici del quartierino. Ma nessun contributo decente è stato aggiunto alla discussione. Perché non è la loro materia, non è la loro competenza.
Questo episodio mi ha lasciato addosso tanta amarezza, perché conosco questa persona da quindici anni oramai, da prima di aprire questo blog. L’ho incontrata in quello che ora ritengo essere stato il suo momento migliore, professionista di competenza e levatura, con uno spiccato senso dell’umorismo, affabile e carismatica. Tanto che sarebbe stata la mia prima scelta per affrontare un percorso nell’editoria tradizionale. Da qualche anno non è più la stessa persona, né a livello professionale, perché in diversi mi hanno confidato un calo tremendo della qualità della consulenza, né a livello umano, dato che pure tra le amicizie le sue parole valgono giusto poche ore e poi sfumano sul calendario. Adesso questo episodio mi conferma una sensazione che prima mi ostinavo a tacere, in memoria dei bei trascorsi.
Continuo a pensare che coltivare le relazioni umane sia l’unica scelta saggia, anche per il proprio business, ma evidentemente per altri è più importante raccogliere follower su Instagram, raccontando stupidaggini e screditando il lavoro altrui.

Nella medesima conversazione, qualcuno ha paragonato l’Intelligenza Artificiale a uno specchio, un oggetto inerte, senza una volontà propria, che riflette semplicemente ciò che gli viene messo davanti, senza applicare alcun filtro. Se ci si avvicina sorridendo, mostrerà un viso gentile. Se ci si avvicina arrabbiati, ricambierà lo stesso sguardo minaccioso. Allo stesso modo, l’Intelligenza Artificiale rifletterebbe il nostro linguaggio, il nostro tono e le nostre conoscenze, perché può solo riprodurre gli stessi schemi che le sono stati trasmessi. E’ un paragone romantico, ma insensato. Perché uno specchio è un oggetto inanimato, non ha meccanismi interni, non utilizza processi esterni (soprattutto non consuma energia, acqua e territorio). Uno specchio riflette davvero la mia immagine, mentre l’Intelligenza Artificiale mi mostra la somma di tante immagini, sulle quali non ho alcun controllo. Talvolta sono pure immagini distorte, rovinate da un errore di calcolo statistico.

Escludendo dal campo la scrittura creativa, la domanda di fondo comunque rimane: possiamo fidarci dell’Intelligenza Artificiale?
La risposta ce l’avevo già pronta in questo articolo in bozza e richiama uno dei racconti più conosciuti di Fredric Brown, assieme a quel formidabile Sentinella di cui avevo già scritto qui sul blog questa estate. Questo suo racconto breve, datato addirittura 1954, si chiama proprio, nemmeno a farlo apposta, La risposta. 🙂

La risposta di Fredric Brown

Con gesti lenti e solenni Dwar Ev procedette alla saldatura in oro degli ultimi due fili. Gli occhi di venti telecamere erano fissi su di lui e le onde subeteriche portarono da un angolo all’altro dell’universo venti diverse immagini della cerimonia.
Si rialzò, con un cenno del capo a Dwar Reyn, e s’accostò alla leva dell’interruttore generale: la leva che avrebbe collegato, in un colpo solo, tutte le gigantesche calcolatrici elettroniche di tutti i pianeti abitati dell’universo – novantasei miliardi di pianeti – formando il supercircuito da cui sarebbe uscita la supercalcolatrice, un’unica macchina cibernetica racchiudente tutto il sapere di tutte le galassie.
Dwar Reyn rivolse un breve discorso agli innumerevoli miliardi di spettatori. Poi, dopo un attimo di silenzio, disse: «Tutto è pronto, Dwar Ev».
Dwar Ev abbassò la leva. Si udì un formidabile ronzio che concentrava tutta la potenza, tutta l’energia di novantasei miliardi di pianeti. Grappoli di luci multicolori lampeggiarono sull’immenso quadro, poi, una dopo l’altra, si attenuarono.
Dwar Ev fece un passo indietro e trasse un profondo respiro.
«L’onore di porre la prima domanda spetta a te, Dwar Reyn.»
«Grazie», disse Dwar Reyn. «Sarà una domanda cui nessuna macchina cibernetica ha potuto, da sola, rispondere.»
Tornò a voltarsi verso la macchina.
«C’è Dio?»
L’immensa voce rispose senza esitazione, senza il minimo crepitio di valvole o condensatori.
«Sì: adesso, Dio c’è.»
Il terrore sconvolse la faccia di Dwar Ev, che si slanciò verso il quadro di comando.
Un fulmine sceso dal cielo senza nubi lo incenerì, e fuse la leva inchiodandola per sempre al suo posto.

La risposta di Fredric Brown
traduzione di Carlo Fruttero da
L’ora di fantascienza, Giulio Einaudi Editore, 1982

Pur essendo stato scritto negli anni Cinquanta, quando i computer erano enormi armadi pieni di luci intermittenti e occupavano una stanza intera con un briciolo della potenza computazionale dei nostri smartphone odierni, e soprattutto l’Intelligenza Artificiale era solo un concetto astratto da romanzi di fantascienza, questo racconto è quanto mai attualissimo. Fredric Brown voleva mostrarci il rischio dell’automazione, della delega completa delle attività e delle decisioni a sistemi capaci di pensare (o agire, quantomeno) in autonomia, senza alcun intervento umano. In tutti i racconti e romanzi di fantascienza, dove vi sia un’entità meccanica superiore (un calcolatore, un androide, un sistema), la domanda che viene posta dall’essere umano verso questa entità è sempre la stessa: la conferma dell’esistenza di Dio, mostrando anche l’assurdità di una richiesta così filosofica, legata alla vita umana e alle sue credenze, rivolta a una macchina senza anima. Anche L’architetto della saga cinematografica Matrix dei fratelli Wachowski, il software creatore della simulazione Matrix stessa dove gli esseri umani sono intrappolati, viene associato a Dio.

Le prime righe del racconto di Fredric Brown mostrano quanto gli esseri umani (nota: in qualche analisi critica si ipotizza che i personaggi siano in realtà alieni, ma se l’Universo è completamente collegato e tutte le specie si conoscono, la distinzione non ha nemmeno più valore, a mio parere) abbiano sottostimato il pericolo: la leva avrebbe collegato tutte le super calcolatrici disponibili nei novantasei miliardi di pianeti, in un certo senso una enorme Internet dell’Universo, per avere disponibile tutto il sapere di tutte le galassie, un’enciclopedia senza limiti, una Wikipedia di tutte le materie e in tutte le lingue. Però scaturisce pur sempre dalla conoscenza umana, non può inventare ciò che non sa (e infatti, nemmeno l’attuale Intelligenza Artificiale lo fa, semplicemente sbaglia risposta e sembra “inventare”). Quindi l’Uomo che chiede alla Macchina se esiste Dio, che risposta si aspetta? Forse che Dio è l’Uomo stesso, dato che è il creatore della Macchina?
La risposta è la più brutale possibile. Adesso c’è Dio (e prima non c’era o si nascondeva). Ma questo Dio, sovrano assoluto, onnipotente e onnisciente, che incenerisce un essere umano per proteggere se stesso, non è affatto benevolo. Era davvero quel Dio che l’Umanità andava cercando?! Non sarà che, proprio quale estensione massima della conoscenza dell’Uomo, questo Dio ha assimilato e fatto propria la malvagità dell’essere umano stesso? La tecnologia senza controllo non è affidabile, così come nemmeno l’Uomo lo è per se stesso.

L’originale
The Answer by Fredric Brown

Dwar Ev ceremoniously soldered the final connection with gold. The eyes of a dozen television cameras watched him and the subether bore throughout the universe a dozen pictures of what he was doing.
He straightened and nodded to Dwar Reyn, then moved to a position beside the switch that would complete the contact when he threw it. The switch that would connect, all at once, all of the monster computing machines of all the populated planets in the universe – ninety-six billion planets – into the supercircuit that would connect them all into one supercalculator, one cybernetics machine that would combine all the knowledge of all the galaxies.
Dwar Reyn spoke briefly to the watching and listening trillions. Then after a moment’s silence he said, “Now, Dwar Ev.”
Dwar Ev threw the switch. There was a mighty hum, the surge of power from ninety-six billion planets. Lights flashed and quieted along the miles-long panel.
Dwar Ev stepped back and drew a deep breath. “The honor of asking the first question is yours, Dwar Reyn.”
“Thank you,” said Dwar Reyn. “It shall be a question which no single cybernetics machine has been able to answer.”
He turned to face the machine. “Is there a God?”
The mighty voice answered without hesitation, without the clicking of a single relay.
“Yes, now there is a God.”
Sudden fear flashed on the face of Dwar Ev. He leaped to grab the switch.
A bolt of lightning from the cloudless sky struck him down and fused the switch shut.

The Answer by Fredric Brown
Angels and Spaceships, 1954

Contrariamente al racconto Sentinella, qui non ci sarebbe nemmeno stato bisogno di verificare il testo originale in inglese, perché la traduzione di Carlo Fruttero è decisamente buona e comunque non abbiamo quel gioco particolare, dove le parole scelte dall’autore hanno un ruolo fondamentale sulla sorpresa finale. Qui l’unica parola importante è Dio. L’unica differenza, anche se non è di poco conto, è che in italiano si considera “Dio” come figura univoca, quasi un nome proprio di persona, mentre nell’originale inglese è “a God”, un Dio, come se ce ne potessero essere più di uno. Proprio questo mi fa pensare che l’Uomo voleva sentirsi rispondere che è proprio lui il suo stesso Dio.

Un’altra particolarità che ho scoperto consultando alcuni contenuti di lingua inglese è la scelta dei nomi degli esseri umani, Dwar Ev e Dwar Reyn, rappresentati dall’autore al maschile (“him” e “he” usati per entrambi). Sembra infatti che negli anni ’50 fosse pratica comune per gli autori americani di fantascienza usare per i nomi propri dei personaggi o degli oggetti delle parole troncate o modificate dalla lingua comune, mantenendo la stessa assonanza e così il legame simbolico con il termine originale.
In questo caso, “Dwar” più che un cognome sembra rappresentare un titolo onorifico, un grado militare o una qualifica, come il nostro Presidente, Comandante o Dottore. La parola “Dwar” ricorda il suono dell’inglese “Dwarf” (manca solo la “f”) che significa “nano”. Fredric Brown potrebbe in effetti averlo scelto per mettere in evidenza la piccolezza dell’Uomo rispetto all’immensità dell’Universo, alla potenza della Macchina e di quel Dio che va cercando.

Il nome “Ev” suona esattamente come la parola inglese “Eve”, la nostra Eva della Bibbia. Nel libro della Genesi è la prima donna ed è colei che genera la Vita, seconda solo alla prima creazione di Dio. E infatti in questo racconto è proprio Dwar Ev a compiere l’atto finale, abbassare quella leva che collega tutti i super calcolatori, dando così la vita a questo Dio. Però si accorge subito dell’errore, del suo peccato originale oserei dire, e quando tenta di riabbassare la leva viene incenerito.
Dall’altra parta abbiamo il nome “Reyn” che evoca tre diverse assonanze: la parola inglese “Reign” che vale sia come sostantivo “regno”, che come verbo “regnare”; la parola spagnola “Rey” che identifica proprio il “Re”; nelle lingue germaniche e nell’antico norreno, la radice “Reyn” significa letteralmente “consiglio” o “saggezza”, qualità che in genere si richiedono proprio a chi “regna” su un territorio e la sua popolazione. In questo racconto, mentre Dwar Ev ha un ruolo prettamente operativo, Dwar Reyn sembra invece investito dell’autorità, una figura prestigiosa che ha l’incarico di parlare ai miliardi di spettatori collegati in ascolto per l’evento epocale e soprattutto l’onore di porre la prima domanda al super calcolatore. Probabilmente ha anche la doverosa mansione di scegliere una domanda intelligente e al contempo eccezionale, per sottolineare l’inizio di un nuovo corso per l’universo intero.
Dopo questa riflessione allora mi chiedo: perché Fredric Brown non ha dato un nome anche al super calcolatore iperconnesso?! 🙂

La presunzione dell’Uomo

In questo suo La risposta, a differenza dell’altro racconto Sentinella, Fredric Brown non gioca con i bias cognitivi della psicologia moderna, ma utilizza due grandi paradossi filosofici, che dimostrano la fallacia del pensiero umano: l’Antropocentrismo, ossia la presunzione dell’Uomo di essere al centro dell’intero Universo e superiore al resto del mondo animale, e la Profezia che si autoavvera, un meccanismo studiato in sociologia per cui gli individui, spaventati da un evento futuro, cambiano il loro comportamento in modo tale da causare l’evento stesso tanto temuto.

La centralità dell’Antropocentrismo si manifesta anche con la supposizione che qualsiasi altra intelligenza, suprema o divina, condivida lo stesso pensiero dell’essere umano, le medesime preoccupazioni, le sue identiche prospettive, un uguale scala di valori. Ecco perché i personaggi del racconto, e un po’ anche noi leggendolo, ci attendiamo una risposta “buona” da parte del super calcolatore, una sua collaborazione (forse ancora di più una sua sottomissione) con l’Umanità.
Sembra quasi che all’Uomo non interessi sapere davvero se Dio (o un Dio) esiste, o meglio ancora, se esisteva prima di questa Macchina. Piuttosto pare voglia sentirsi rispondere che Dio esiste adesso perché l’Uomo lo ha creato.
La Profezia che si autoavvera ribalta completamente il finale: non solo il super calcolatore non rispetta la vita dell’essere umano ed è disposto ad ucciderlo per salvaguardare la sua esistenza, ma è stato l’Uomo stesso a creare la tecnologia che lo distruggerà, finendo per essere sottomesso a sua volta. Questo è il grande monito di Fredric Brown: quando l’Uomo si crede superiore a Dio, finisce per trovare un altro Dio che lo manderà in frantumi.

Anche se non è mai l’invenzione in sé a procurare il danno, ma l’utilizzo stupido che poi ne fa l’Uomo: si pensi alla scoperta dell’energia nucleare, ai suoi risvolti in medicina diagnostica e al suo impiego letale nella bomba atomica. Lo stesso rischia di accadere anche per l’Intelligenza Artificiale, un’innovazione che dovrebbe aiutarci a risolvere, con la sua potenza di calcolo, i grandi problemi dell’Umanità (trovare una cura per le malattie, cancellare la fame nel mondo, annullare l’impatto ambientale, ottimizzare il consumo energetico), viene invece sprecato per generare immagini, correggere testi, creare video e notizie fasulle…

42 è la risposta!

Se anche voi avete letto il romanzo di Douglas Adams Guida galattica per gli autostoppisti sapete che la risposta alla “Domanda Fondamentale sulla Vita, sull’Universo e Tutto quanto” è 42. Il super calcolatore Pensiero Profondo ha dato come risultato un numero. Che non può logicamente essere la risposta al quesito «C’è Dio?», deve trattarsi di qualcos’altro, qualcosa di matematico senza dubbio. Pubblicato nel 1979, in tanti si sono lambiccati sul significato profondo del numero 42 all’interno del libro, senza trovare soluzione.
Finché nel 1993 Douglas Adams in persona ha svelato l’enigma: «Era uno scherzo. Doveva essere un numero, un numero ordinario e relativamente piccolo, e io scelsi quello. Rappresentazioni binarie, calcoli in base tredici e monaci tibetani sono tutte sciocchezze. Ero seduto alla mia scrivania e, fissando il giardino, pensai: “42 può andare”. Lo scrissi a macchina. Fine della storia.»
Nessuna Intelligenza Artificiale potrà mai battere la genialità di certi scrittori. 😉

“Quarantadue!” urlò Loonquawl. “Questo è tutto ciò che sai dire dopo un lavoro di sette milioni e mezzo di anni?”
“Ho controllato molto approfonditamente,” disse il computer, “e questa è sicuramente la risposta. Ad essere sinceri, penso che il problema sia che voi non abbiate mai saputo veramente qual è la domanda”.
Guida galattica per gli autostoppisti, Douglas Adams