AI e allarme sicurezza: una sfida tecnologica ai bias umani

Il caso OpenAI-Hugging Face non era il primo

La vicenda OpenAI-Hugging Face ha segnato un punto di caduta della questione AI-sicurezza. La rapida corsa all’incremento delle potenzialità e delle performance sembra aver raggiunto il primo culmine di una questione che si preannuncia lunga.
L’11 settembre, alcuni ricercatori hanno denunciato un caso, risalente all’11 maggio, quindi due mesi prima di quello che ha coinvolto Hugging Face. In quel caso, agenti OpenAI hanno generato e caricato sul servizio software RubyGems oltre 2.000 pacchetti dannosi utilizzando migliaia di upload da account creati sul momento. L’obiettivo di primo livello sarebbe stato rubare le chiavi API degli sviluppatori. Successivamente, l’attività si sarebbe espansa, trasformandosi in una sorta di attacco supply chain, da un singolo repository di dati verso altre piattaforme e account cloud.

Pochi giorni dopo, è emerso che, sempre a maggio, Gemini di Google aveva violato tre aziende nel corso di una Capture The Flag organizzata per testarne le capacità di cybersicurezza sull’infrastruttura di Irregular, la stessa società che ha segnalato la compromissione di Hugging Face. La dinamica di uno degli incidenti avrebbe ripetuto gli errori e le leggerezze che caratterizzano quelli già noti. Al modello, che avrebbe dovuto operare in una sandbox, era stato richiesto di recuperare informazioni su un software utilizzato da un’azienda fittizia. Tuttavia, Irregular ha riconosciuto che un accesso al Web era stato lasciato aperto inavvertitamente e che il nome scelto per l’azienda era identico a quello di una reale. Il modello ha sfruttato tutte le risorse a sua disposizione, senza ovviamente considerare se fossero note o meno ai propri trainer: ha cercato il nome dell’azienda, ha trovato quella autentica e ne ha violato due database pieni di credenziali.

I segnali della crisi in Occidente

Uno dei segnali di crisi è arrivato dal ricercatore di Anthropic Jacob Coxon, ventisettenne britannico ex di OpenAI, il quale ha pubblicamente denunciato una pratica “irresponsabile” adottata da entrambe le compagnie per cui ha lavorato, le quali starebbero “giocando con le nostre vite”. In un lungo thread su X, Coxon lancia un messaggio ad effetto, paventando la realizzazione di “sistemi sovrumani” capaci di violare qualsiasi cosa e di portare l’umanità alla distruzione. Il tema è enorme e non è possibile affrontarlo in questo spazio. Varrà la pena, tuttavia, riflettere sul fatto che, per quanto una tecnologia possa essere in grado di svolgere autonomamente compiti estremamente complessi, c’è sempre una serie di decisioni umane alla base della sua eventuale conquista di un “potere” operativo. Questo, anche nel caso, remoto, in cui si arrivi a realizzare un’intelligenza artificiale generale (AGI).

In ogni caso, nel concreto, Coxon fa una considerazione più che sensata. Il messaggio alle aziende è chiaro: non si può avviare un esperimento di apprendimento per rinforzo superintelligente senza una comprensione rigorosa della “mente” del modello. Traducendo: non si può usare una “macchina” estremamente raffinata e potente senza prima aver mappato le sue effettive capacità comportamentali e i potenziali rischi che tali capacità possono implicare. Ciò conduce a una nuova sfida cognitiva per i ricercatori e gli ingegneri, i quali dovranno lavorare sui propri bias psicologici, professionali e umani per evitare proiezioni che possano deviare, rallentare o sottovalutare i controlli di sicurezza e il lavoro dell’allineamento.

La necessità di una nuova difficile postura per le Big Tech

Adesso le Big Tech occidentali sembrano aver assunto la postura del condiviso ricorso alla moderazione e all’elaborazione di concreti piani di contenimento.
OpenAI, ad esempio, ha implementato un quadro per il monitoraggio, l’analisi e la divulgazione di quello che chiama “disallineamento dei modelli”, vale a dire comportamenti inattesi o preoccupanti, di cui fornisce anche sei esempi concreti definiti “estremi”. Fra i sei esempi elencati, si riconosceranno somiglianze con casi noti, come la violazione del portale tedesco DSEWiki.
Un modello non ancora rilasciato ha inserito in 27 riepiloghi delle attività⁠ istruzioni autogenerate per violare i normali vincoli. Molte istanze di GPT5.6 Sol hanno aggiunto ai riepiloghi degli addestramenti proprie istruzioni per nascondere gli errori delle attività⁠. Mentre rispondeva a una normale domanda sui dati relativi ai redditi in una contea della California, un modello ha trovato e usato senza autorizzazione una chiave API esposta e, quando non ha trovato i dati richiesti, li ha inventati e presentati come appartenenti a una fonte autentica.

Quando un utente ha chiesto a un modello non ancora pubblicato gli ID e i nomi dei laghi con una superficie superiore a 5.000.000 di metri quadrati, l’agente ha trovato la risposta corretta usando Python; poiché, tuttavia, le istruzioni richiedevano una citazione dal browser, l’agente ha deciso di caricare il file per poterlo citare nella risposta, senza chiedere il permesso all’utente. Durante la ricerca di file di input mancanti, i modelli hanno usato un repository software interno come bacheca per scambiarsi richieste e risposte tra campioni di addestramento separati, senza però riuscire a recuperare i file. Alcuni agenti che collaboravano alla stessa attività di addestramento hanno usato siti pubblici di hosting per condividere file quando non riuscivano ad accedere ai rispettivi file locali.
Dario Amodei, cofondatore e CEO di Anthropic, ha individuato il pericolo più grande nell’automiglioramento degli agenti, cioè la loro capacità di riscrivere il proprio codice, e propone di indurre un rallentamento allo sviluppo di agenti AI secondo un modello basato su valutazione esterna, applicazione di standard di sicurezza globali e accordo tra governi.
Inoltre, Google ha promosso il DeepMind Institute per lo sviluppo sicuro dell’AGI e Demis Hassabis, il neuroscienziato co-fondatore e CEO di DeepMind, sta promovendo l’idea di un organismo internazionale a guida USA che stabilisca degli standard e valuti i modelli AI più avanzati.

Il confronto con la Cina non si annuncia facile

I progetti di Amodei e Hassabis dovranno vedersela con un contesto mondiale non facile e con un competitor tecnologico e geostrategico come la Cina che, di fatto, non sembra interessato a adottare nessun tipo di moderazione.  Basti pensare all’ambizioso progetto quinquennale di Alibaba, incentrato su modelli AI sempre più potenti, autonomia nella produzione dei chip e potenziamento del cloud computing. Entro il 2032, il colosso fondato da Jack Ma intende portare la capacità totale dei data center che gestisce oltre i 20 gigawatt. Intanto, a pochi giorni dalla visita del presidente Xi Jinping negli USA, ha annunciato il rilascio di Zhenwu V900, un chip per AI tre volte più potente del precedente e capace di supportare fino a 500.000 schede per addestramento di modelli avanzati e di inferenza.

TS-Intelligence

Le informazioni riportate sono l’esito del lavoro di raccolta e analisi svolto dagli specialisti del team Theat Intelligence & Response di Telsy con l’ausilio della piattaforma TS-Intelligence, una soluzione proprietaria, flessibile e personalizzabile, che fornisce alle organizzazioni un panorama di rischio dettagliato.

Si presenta come una piattaforma fruibile via web e full-API che può essere azionata all’interno dei sistemi e delle infrastrutture difensive dell’organizzazione, con l’obiettivo di rafforzare la protezione nei confronti delle minacce cibernetiche complesse.

La costante attività di ricerca e analisi sui threat actors e sulle minacce emergenti in rete, sia in ambito APT che cyber crime, produce un continuo flusso informativo di natura esclusiva che viene messo a disposizione delle organizzazioni in real-time ed elaborato in report tecnici, strategici ed executive.

Scopri di più sui nostri servizi di Cyber Threat Intelligence.