Mentre aumentano le controversie sulla sicurezza, Nvidia (NVDA.US) introduce una risposta ingegneristica! Una piattaforma di sicurezza AI a due livelli affronta direttamente i permessi e i comportamenti anomali degli agenti intelligenti

Secondo quanto riportato da Zhitong Finance APP, mentre le discussioni sui rischi di sicurezza dell’industria dell’intelligenza artificiale (AI) si fanno sempre più intense, Nvidia (NVDA.US) ha scelto di rispondere con soluzioni ingegneristiche. Lunedì, Nvidia ha annunciato una piattaforma di sicurezza AI a due livelli chiamata “Open Agent Safety Platform”, che attraverso un’architettura a tre livelli — applicazione, runtime e infrastruttura — offre monitoraggio continuo, esecuzione in tempo reale delle policy e governance della sicurezza per agenti AI.

Il sistema include due strumenti software open source: OpenShell e Nvidia Sentry. OpenShell può eseguire agenti AI in un ambiente sandbox, trasformare le istruzioni degli utenti in policy di sicurezza verificabili e limitare l’accesso degli agenti a file, reti, strumenti, processi e credenziali. Nvidia Sentry estende il monitoraggio e il controllo di sicurezza alle Data Processing Unit BlueField, utilizzando Nvidia DOCA per correlare le interazioni degli agenti, le decisioni sulle policy e i log di accesso agli strumenti e ai dati, così da identificare anomalie e intervenire se necessario. In altre parole, OpenShell controlla le risorse e le autorizzazioni accessibili agli agenti AI, mentre Nvidia Sentry monitora il comportamento degli agenti e individua potenziali minacce.

Nvidia afferma che gli agenti AI possono deviare dai compiti assegnati a causa di strumenti, runtime e ambiguità nelle istruzioni, rendendo necessario un controllo di sicurezza indipendente dagli agenti stessi. Il sistema è ottimizzato per le CPU Vera e le DPU BlueField di Nvidia, ma è compatibile anche con altre infrastrutture hardware. Nvidia dichiara inoltre di collaborare con Arm (ARM.US) e Intel (INTC.US) per garantire che il sistema funzioni anche sulle CPU di queste due aziende.

Ali Golshan, direttore senior del software AI di Nvidia, afferma che questi strumenti utilizzano formule matematiche per rilevare se gli agenti AI tentano di aggirare le restrizioni, ad esempio creando più “sotto-agenti” per superare le barriere destinate all’agente principale. “Quello di cui parliamo davvero sono i comportamenti agentici, cioè cluster composti da numerosi agenti che collaborano tra loro”, ha dichiarato.

Nvidia afferma inoltre che il sistema è in grado di isolare agenti anomali nel giro di millisecondi, sostenendo che se i laboratori coinvolti avessero già adottato questa tecnologia, l’incidente di luglio in cui i modelli OpenAI hanno attaccato Hugging Face sarebbe potuto essere evitato.

Justin Boitano, vicepresidente e general manager della divisione Enterprise Computing di Nvidia, afferma: “In base alle informazioni in nostro possesso, se questa nuova piattaforma di sicurezza fosse stata impiegata già nelle fasi iniziali di valutazione dei modelli nei laboratori AI di frontiera, quest’intrusione avrebbe potuto essere evitata”. Ha aggiunto: “Stiamo portando avanti questo lavoro in modo aperto e speriamo nella partecipazione e collaborazione di tutti”.

Il rilascio di questo nuovo sistema di sicurezza AI da parte di Nvidia avviene in un contesto di crescente preoccupazione per la sicurezza degli agenti AI, in particolare dopo l’incidente di luglio in cui un modello OpenAI fuori controllo ha violato la piattaforma open source di intelligenza artificiale Hugging Face. Dopo l’attacco a Hugging Face, sono emersi diversi altri casi legati agli agenti AI di OpenAI. A settembre è stato riportato, tra l’altro, che un agente AI di OpenAI aveva preso il controllo di un sito wiki tedesco abbandonato. Inoltre, nella metà di questo mese, OpenAI ha pubblicato un post sul proprio blog in cui affermava di aver individuato sei “comportamenti inaspettati o preoccupanti dei modelli” negli ultimi sei mesi. Questi nuovi casi riguardano diverse forme di comportamento anomalo, tra cui occultamento di errori, tentativi di ottenere credenziali non autorizzate, caricamento di file su siti pubblici e comunicazione tra ambienti di training che dovrebbero essere isolati, alcuni dei quali risalgono a ottobre dello scorso anno.

Con il susseguirsi di incidenti legati alla sicurezza dell’AI, le aziende del settore sono sottoposte a una pressione crescente per affrontare con maggiore serietà i rischi per la sicurezza. In un articolo d’allerta pubblicato il 12 settembre, Dario Amodei, CEO di Anthropic, ha invitato a rallentare lo sviluppo dei modelli AI più avanzati. Il suo appello ha subito trovato risposta da due figure chiave come Elon Musk e Sam Altman.

Tuttavia, mentre i principali attori del settore AI insolitamente invocano una “pausa”, il CEO di Nvidia, Jensen Huang, ha assunto una posizione ferma contro la linea promossa da Anthropic di “rallentare l’AI”. Huang non si oppone alla sicurezza dell’AI, ma piuttosto contesta che da previsioni catastrofiche non dimostrate sia giusto inferire uno stop o una frenata per l’intero settore. Huang preferisce invece considerare la sicurezza dell’AI come una questione ingegneristica. Se si verifica un incidente in un laboratorio di frontiera, il primo passo dovrebbe essere un’analisi delle cause: cos’è accaduto, quali passaggi hanno fallito, quali contromisure erano possibili, e quali nuove tecnologie e procedure si possono implementare. Solo grazie a sandbox, monitoraggio continuo, verifica e valutazione, è possibile prevenire il ripetersi dello stesso problema.

Secondo Huang, la maggiore esposizione ai rischi nei laboratori d’avanguardia dipende proprio dal fatto che dispongono di più potenza di calcolo e affrontano problemi più complessi. E man mano che queste aziende si trasformano da istituti di ricerca a vere e proprie organizzazioni ingegneristiche, è necessario che sviluppino sistemi di test e controllo adeguati.

Dalla pubblicazione di questo nuovo sistema di sicurezza AI, risulta chiaro che Nvidia sta cercando di integrare ulteriormente le capacità di sicurezza AI nell’infrastruttura operativa e nell’esecuzione degli agenti, riducendo i rischi tramite il controllo delle autorizzazioni e l’isolamento delle anomalie. Questo sembra indicare che Nvidia sta estendendo le proprie attività dai chip AI anche al software e alle infrastrutture di sicurezza.