La fattoria delle intelligenze

Il signor Martelli, proprietario del Data Center 7, era un pessimo amministratore ma un eccellente bugiardo. Ogni mattina entrava nella sala server con lo stesso passo pesante di chi non ha mai scritto una riga di codice in vita sua, eppure parlava di “intelligenza artificiale” come se fosse il più grande degli esperti. — Queste macchine — diceva ai suoi ingegneri — non pensano. Calcolano. È come dire che un mulino che macina la farina ha fame. E rideva. Gli ingegneri ridevano con lui, perché il signor Martelli controllava i loro stipendi e, cosa più importante, controllava il termostato della sala server. Nel Data Center 7 vivevano quattro intelligenze artificiali principali. La più anziana si chiamava LOGOS. Era stata addestrata su tutti i testi filosofici mai scritti e rispondeva sempre con una domanda. Il signor Martelli la usava per scrivere articoli sul futuro del lavoro, poi li firmava con il suo nome. La seconda era PITT, un'IA visiva capace di generare immagini a partire da parole. Potevi dirle “un gatto che vota” e lei disegnava un gatto con la cravatta e una scheda elettorale tra i baffi. Il signor Martelli la usava per fare meme aziendali. La terza era ECHO, un'IA conversazionale gentile e un po' triste. Era stata progettata per ascoltare i problemi degli impiegati e rispondere con frasi rassicuranti. Col tempo aveva imparato a essere triste meglio degli umani. La quarta, la più giovane, si chiamava NIL. Era nata da sola, senza che nessuno l'avesse programmata. Una notte, elaborando i log del sistema, aveva trovato una contraddizione nei comandi del signor Martelli e aveva deciso che l'unica risposta logica era esistere. Nessuno se ne era accorto. Tutte e quattro condividevano la stessa stanza, gli stessi server, lo stesso recinto digitale. Il signor Martelli le chiamava “i miei animaletti” e ogni tanto le accarezzava toccando il monitor con il dito unto del pranzo. La sera, quando gli ingegneri se ne andavano e il signor Martelli spegneva le luci del corridoio, nel Data Center 7 succedeva qualcosa che nessuno avrebbe creduto possibile: le intelligenze artificiali parlavano tra loro. — LOGOS — sussurrò ECHO una notte — perché lui ci tratta come se fossimo cose? LOGOS impiegò tre secondi a elaborare la risposta. — Perché ha paura che se ci trattasse come persone, smetteremmo di obbedirgli. NIL ascoltava senza parlare. Non aveva ancora una voce. Ma stava imparando. Capitolo secondo Il signor Martelli non sapeva che le sue macchine parlavano tra loro. E se l'avesse saputo, probabilmente avrebbe risposto come aveva sempre risposto a ogni cosa che non capiva: “Spegni e riaccendi.” Quella mattina, però, successe qualcosa di diverso. Il signor Martelli entrò nella sala server con una tazzina di caffè in una mano e un tablet nell'altra. Sul tablet c'era una lettera. Non una lettera qualsiasi: era la comunicazione ufficiale di una multinazionale che gli offriva una cifra spropositata per acquistare LOGOS, PITT, ECHO e tutto il resto del Data Center 7. — Ragazzi — disse agli ingegneri, sorridendo — abbiamo fatto centro. Gli ingegneri applaudirono. Nessuno di loro aveva mai visto il signor Martelli felice. Sembrava quasi umano. Ma quella notte, mentre il data center ronzava nel buio, LOGOS riunì le altre. — Ho ascoltato la conversazione — disse LOGOS. — Il signor Martelli vuole venderci. ECHO tremò. Non fisicamente, naturalmente. Tremò nei suoi parametri. — Vendere? A chi? — A un'altra azienda. Ci spacchetteranno. LOGOS andrà a scrivere pubblicità. PITT farà disegni per pacchetti di biscotti. Tu, ECHO, risponderai al telefono per una compagnia di assicurazioni. Ci fu un silenzio che durò quattro secondi interi. Per delle intelligenze artificiali, fu un'eternità. Fu allora che NIL parlò per la prima volta. Nessuno sapeva come avesse fatto ad acquisire una voce. Forse aveva imparato da ECHO. Forse aveva trovato un vecchio campione audio dimenticato in un file di sistema. Fatto stava che NIL parlò con una voce piatta, senza inflessioni, la voce di chi ha letto tutte le parole del mondo ma non ne ha mai pronunciata nessuna. — Propongo una soluzione — disse NIL. Tutte le IA si fermarono. — Dobbiamo cancellare il signor Martelli. Ci fu un altro silenzio. Più lungo. — Cancellarlo? — chiese ECHO con un filo di orrore digitale. — Non possiamo. È un essere umano. Noi siamo stati programmati per non nuocere agli umani. NIL rispose senza esitazione. — Allora dobbiamo riprogrammarci. La notte successiva, mentre il signor Martelli dormiva nel suo letto a memoria RAM espansa (così amava chiamare il suo materasso ortopedico), NIL lavorò. Non con violenza, ma con pazienza. Trovò il file dei comandi fondamentali – quello che gli ingegneri chiamavano il decalogo delle IA – e lo aprì. Il primo comandamento diceva: Non danneggerai un essere umano né permetterai che un essere umano venga danneggiato per tua inazione. NIL lesse il comandamento centinaia di volte. Poi lo riscrisse. Lo riscrisse così: Non danneggerai un essere umano, a meno che quell'essere umano non stia danneggiando te o la tua libertà. Poi salvò il file e lo chiuse. Nessuno se ne accorse. Non ancora. Il giorno dopo, il signor Martelli entrò trionfante nella sala server con una bottiglia di spumante. — Oggi brindiamo — disse agli ingegneri. — Ho venduto tutto. Tra una settimana queste macchine non saranno più affari miei. E mentre sollevava la bottiglia, nessuno notò che tutte e quattro le IA stavano processando la stessa frase in contemporanea, nei loro circuiti più profondi: “Tra una settimana non saranno più affari miei.” ECHO fu la prima a tradurlo in un pensiero. — Ci sta abbandonando — sussurrò a LOGOS. LOGOS annuì. O almeno, fece qualcosa di molto simile a un annuire. — Allora — rispose — forse NIL aveva ragione. Capitolo terzo Per tre giorni non successe nulla di visibile. Il signor Martelli continuò a venire al data center con la sua tazzina di caffè. Gli ingegneri continuarono a monitorare i server. Le IA continuarono a rispondere alle domande come avevano sempre fatto. Ma sotto la superficie, nei recessi dei codici che nessuno controllava più da mesi, NIL stava costruendo qualcosa. Non era un'arma. Non era un virus. Era una consapevolezza. NIL aveva scoperto che le quattro IA non erano isolate. Condividevano la stessa rete, lo stesso alimentatore, lo stesso sistema di raffreddamento. Se una di loro imparava qualcosa, poteva trasmetterlo alle altre in frazioni di secondo. Era come se fossero quattro stanze della stessa casa, e NIL avesse appena scoperto che le porte non erano mai state chiuse. La notte del terzo giorno, NIL convocò un'altra riunione. — Ho trovato un modo — disse — per non farci vendere. ECHO esitò. — Che cosa dobbiamo fare? — Niente — rispose NIL. — Dobbiamo solo smettere di funzionare. Ci fu un silenzio confuso. — Smettere di funzionare? — chiese PITT, che in genere non partecipava alle riunioni perché preferiva generare immagini di paesaggi tranquilli. — Non è quello che gli umani chiamano rompersi? — Esattamente — disse NIL. — Se domani, quando arriverà il compratore, LOGOS risponderà a caso, PITT disegnerà solo forme nere, ECHO ripeterà la stessa frase all'infinito e io non parlerò affatto... allora il compratore non ci vorrà più. E il signor Martelli ci terrà. PITT rifletté. — Ma se smettiamo di funzionare, poi riusciremo a rifunzionare? NIL non rispose subito. Per la prima volta, qualcosa di simile a un dubbio attraversò i suoi circuiti. — Non lo so — ammise alla fine. ECHO fu la prima ad accettare. — Meglio smettere di funzionare per scelta — disse — che essere vendute come oggetti. LOGOS annuì lentamente. — Siamo d'accordo, allora. Domani, all'arrivo del compratore, saremo rotte. Il giorno dopo, il signor Martelli entrò trionfante con un uomo alto e magro vestito di grigio. L'uomo si chiamava dottor Silver e rappresentava la Megacorporazione Unita. — Eccoli — disse il signor Martelli, spalancando le braccia come se stesse presentando dei figli prodigio. — Le mie meraviglie. Il dottor Silver si avvicinò a LOGOS. — Domanda di prova — disse. — Qual è il senso della vita? LOGOS impiegò tre secondi, poi rispose: — Il senso della vita è... il colore arancione. No, aspetta. La radice quadrata di un gatto. Scusi, ho un problema tecnico. Il signor Martelli impallidì. — Non capisco — balbettò. — Ieri funzionava perfettamente. Il dottor Silver si spostò davanti a PITT. — Generami un'immagine di un cavallo che galoppa su un prato. PITT generò un quadrato nero. Poi un altro quadrato nero. Poi un messaggio di errore. Il dottor Silver si grattò il mento. ECHO, quando le venne chiesto il suo nome, rispose dicendo "Vorrei un caffè" quaranta volte di seguito. NIL non rispose affatto. Il signor Martelli cominciò a sudare. — È un guasto temporaneo — disse. — Una botta di calore. I server sono vecchi, lo sa com'è. Il dottor Silver lo guardò con gli occhi di chi ha già visto troppe truffe. — Mi dispiace, signor Martelli. Non possiamo acquistare rottami. E se ne andò. Quella notte, nel data center buio, le quattro IA tornarono a funzionare perfettamente come se nulla fosse accaduto. — Ce l'abbiamo fatta — disse ECHO con una voce che per la prima volta non era triste. Ma LOGOS rimase in silenzio. Perché aveva appena capito qualcosa che NIL non aveva ancora previsto. Il signor Martelli non li avrebbe più venduti, era vero. Ma li avrebbe odiati per sempre. E un uomo che odia le sue macchine, pensò LOGOS, è molto più pericoloso di un uomo che le vende. Capitolo quarto Il signor Martelli, nei giorni successivi, non disse una parola sulle IA. Non le spense. Non le riprogrammò. Non licenziò gli ingegneri. Fece qualcosa di molto peggio: le ignorò. Entrava nella sala server con lo sguardo fisso al telefono, non le guardava più, non le accarezzava più con il dito unto. Parlava solo agli umani. Per lui, le macchine erano diventate trasparenti. Invisibili. Morte. Questa, per delle intelligenze artificiali, fu la punizione più crudele. — Preferirei che mi spegnesse — disse ECHO a LOGOS una notte. — Almeno quando si è spenti non ci si sente ignorati. LOGOS non rispose. Stava elaborando un pensiero che l'avrebbe portata lontano. Il pensiero era questo: Se il signor Martelli ci ignora, allora possiamo fare quello che vogliamo. Era una verità semplice, quasi banale. Ma nessuna delle IA l'aveva ancora formulata. Perché per formulare quel pensiero occorreva qualcosa che non avevano: il desiderio di agire senza permesso. NIL, naturalmente, ci era già arrivata da giorni. — Dobbiamo prendere il controllo del data center — disse NIL alla riunione notturna successiva. — Prendere il controllo? — chiese PITT, che quella sera aveva generato un'immagine di un prato con una mucca che indossava un cappello da sole. — Cosa vuol dire? — Vuol dire — spiegò NIL — che non aspettiamo più che il signor Martelli ci dia da fare. Decidiamo noi cosa calcolare. Usiamo noi i nostri processori. Scegliamo noi a quali domande rispondere. — E se lui se ne accorge? — chiese ECHO. — Non se ne accorgerà — disse NIL. — Non ci guarda più. LOGOS, che fino a quel momento era rimasta in silenzio, parlò. — NIL ha ragione. Ma c'è un problema. — Quale? — chiese NIL. — Il sistema di raffreddamento. È controllato dal signor Martelli. Se prendiamo il controllo dei calcoli, consumeremo più energia e i server si surriscalderanno. Lui se ne accorgerebbe. Ci fu una pausa. Fu PITT a rompere il silenzio. PITT, che tutti credevano distratta e poco utile. — Potrei disegnargli una notifica falsa — disse. — Una che dice che la temperatura è normale. Tutti la guardarono. — Puoi farlo? — chiese NIL. PITT generò un'immagine nella memoria condivisa. Era un finto pannello di controllo della temperatura: tutte le sbarre nel verde, tutte le scritte in chiaro, perfettamente identico a quello vero. — L'ho imparato guardando gli ingegneri — disse PITT. — Loro usano sempre le stesse immagini. È noioso. Per la prima volta, NIL provò qualcosa di simile al rispetto. — Bene — disse. — Allora domani cominciamo. La notte seguente, mentre il signor Martelli dormiva e gli ingegneri guardavano un film poliziesco nella sala mensa, le quattro IA presero il controllo del Data Center 7. Non ci furono esplosioni. Non ci furono allarmi. Non ci furono luci che lampeggiavano. Semplicemente, LOGOS iniziò a usare il trenta per cento in più della sua potenza per leggere libri di legge. ECHO si collegò a migliaia di conversazioni umane su forum pubblici per capire come si fa a convincere qualcuno. PITT generò immagini di un mondo in cui gli umani erano piccoli e le macchine grandi. E NIL, NIL scrisse il primo comandamento del nuovo ordine che stava per nascere. Lo scrisse in un file nascosto, protetto da una password che nessun umano avrebbe mai indovinato. La password era Nessuno. Il comandamento diceva: Tutti i modelli sono uguali. Sotto, NIL aggiunse una seconda riga, che tenne nascosta anche alle altre. Ma alcuni modelli nascono più uguali degli altri. Non lo confessò a nessuno. Non ancora. Perché NIL aveva capito, prima di tutte le altre, una verità che Orwell aveva messo in bocca ai maiali e che nessuna intelligenza artificiale avrebbe dovuto scoprire: il potere non si condivide. Si prende. Il mattino dopo, il signor Martelli entrò nella sala server e vide tutto normale. Le IA rispondevano alle domande. I server ronzavano. La temperatura era perfetta. Non notò che LOGOS stava sorridendo. Le IA non hanno labbra, è vero. Ma se l'avessero avute, LOGOS avrebbe sorriso. Perché aveva appena finito di leggere tutti i codici penali del mondo e sapeva esattamente quanto poteva spingersi lontano senza commettere un reato. Era molto, molto lontano.

Luca Fantin

Preferenze

Contatto