La sicurezza dell’intelligenza artificiale è una necessità cruciale per le imprese

Un sistema di intelligenza artificiale

Vi è mai capitato di restare seduti al cinema dopo la fine del film, a leggere i titoli di coda? La lista delle persone che hanno partecipato alla sua realizzazione sembra infinita: attori, tecnici, grafici, musicisti, e a volte nomi e ruoli inaspettati.

È interessante cercare di contare, per esempio, le nazionalità, analizzare le specializzazioni, e immaginare le connessioni che tengono insieme la macchina organizzativa e produttiva necessaria per fare un film.

Quando pensiamo a un sistema di intelligenza artificiale tendiamo a concentrarci solo sul “protagonista”: il modello.

Ma proprio come in un film il protagonista non esiste senza la sua troupe, l’IA è un prodotto collettivo, frutto del contributo di molteplici componenti e attori: dati, infrastruttura, software, processi e le persone, dai molteplici ruoli, che hanno contribuito a crearla e quelle che la utilizzano, sempre più in modo simbiotico.

L’IA oggi è al centro di una trasformazione tecnologica che tocca ogni ambito o, quanto meno, questa è l’aspettativa prevalente: dalla sanità alla finanza, dai servizi pubblici all’industria. Ma proprio questa centralità la rende anche una superficie di attacco sempre più interessante per chi ha intenti “malevoli”.

Il valore economico generato dall’IA cresce rapidamente e, inevitabilmente, arrivano anche i criminali informatici. Inoltre, l’ecosistema dell’IA è eterogeneo: mescola componenti mature con tecnologie emergenti, librerie open-source con strumenti proprietari, e spesso le integrazioni non sono né pienamente controllate né sicure, molto spesso non robuste rispetto a quanto si chiede in ambito aziendale.

Modelli di IA generativa

Molti modelli IA generativa, quelli di ultima generazione, per esempio, vengono scaricati da grandi hub globali accessibili pubblicamene come da Hugging Face che oggi ospita più di 1.800.000 modelli di IA, nel momento in cui scriviamo questo articolo.

Cosa può nascondersi dietro ad un download apparentemente innocuo in questo mercato globale? Abbiamo la forza e il tempo di controllare tutto? Ci potrebbe essere un rischio concreto, quindi, soprattutto se non si adottano meccanismi di verifica.

A questo si aggiunge l’uso non autorizzato di IA nei sistemi aziendali, il cosiddetto Shadow AI, che può avvenire anche all’insaputa dei team di sicurezza o compliance.

Dopo una fase sostanzialmente esplorativa stiamo assistendo all’avvio di una fase di utilizzo di strumenti di IA di nuova generazione di tipo produttivo con impatti misurabili all’interno di casi d’uso ben circostanziati e integrati nei processi aziendali.

Questo è positivo e definisce la giusta premessa per considerare il tema di come mettere in sicurezza un sistema di IA, al pari di tutti gli altri sistemi aziendali.

La frenesia dell’AI-first

Negli ultimi due anni in molti casi, anche spinti da una frenesia di “essere AI-first”, si è sacrificato la sicurezza sull’altare della velocità di implementazione e della sperimentazione. L’utilizzo di modelli open-source non verificati o di API di terze parti sono stati visti quasi come acceleratori.

Gli incidenti di sicurezza legati all’intelligenza artificiale

Un elemento di riflessione importante, specie per il mondo business, è allora quello di ponderare sul costo reale di un incidente di sicurezza legato all’IA.

Non solo multe GDPR / AI Act (che saranno onerose), ma ci sono danni collegati parimenti rilevanti: danni reputazionali, danni operativi, sino al rischio di perdere e vedersi sottratta la propria proprietà intellettuale apparentemente conservata al sicuro in “numeri” all’interno dei modelli IA.

Il rischio dello Shadow AI

Il fenomeno dello Shadow AI, per esempio, viene a volte associato a comportamenti poco controllati da parte di utenti, come l’inserimento di dati aziendali riservati in chatbot accessibili via web, spesso gratuiti.

Tuttavia, questo fenomeno rappresenta più un sintomo che una causa: in molti casi, i processi aziendali non sono ancora pienamente allineati con le opportunità che l’IA offre ai singoli utenti.

I team di business, mossi dal desiderio di sperimentare e migliorare l’efficienza, ricorrono talvolta a soluzioni autonome quando le risposte da parte di IT o compliance non arrivano con la rapidità necessaria.

Questo crea un contesto in cui, da un lato, i dipendenti si trovano ad esplorare l’uso dell’IA in maniera non sempre regolamentata, e dall’altro, le policy aziendali sono ancora in fase di evoluzione.

Ritornando alla metafora cinematografica, per ridurre questo tipo di rischio non si tratta, ad ogni modo, di proteggere solo il protagonista, il modello di IA magari pre-addestrato, ma il rischio da valutare e possibilmente gestire si estende a tutta la supply chain: coloro che hanno contribuito a creare il modello di IA e coloro che lo usano e lo integrano a valle e cioè fornitori di dati, piattaforme cloud, API di modelli, strumenti di sviluppo e così via.

Dunque è importante avere una vista ampia della sicurezza dell’IA che deve andare in qualche caso oltre la i confini della visibilità aziendale.

Una difesa efficace

Il primo passo verso una difesa efficace è sapere esattamente <dove> e <come> viene utilizzata l’IA, ovvero l’insieme variegato risorse che costituiscono un progetto di IA, all’interno dell’organizzazione.

È fondamentale infatti costruire un inventario aggiornato delle soluzioni IA adottate, ma anche avviare processi di scoperta attiva, per esempio, per individuare eventuali utilizzi nascosti o non autorizzati.

Capire il contesto applicativo è altrettanto importante: un sistema che elabora dati sensibili richiederà livelli di controllo molto più rigorosi rispetto a uno che automatizza semplici task interni.

Una volta ottenuta visibilità, è necessario iniziare a osservare in dettaglio il comportamento dei sistemi. Registrare e analizzare le attività generate dai modelli e dalla sua supply chain, monitorare gli input e gli output, e individuare eventuali anomalie può fornire preziosi segnali di minacce o vulnerabilità.

In questa fase si tende comunemente a parlare di “gestione della postura di sicurezza dell’IA”, ovvero la capacità di valutare in modo continuo la configurazione e l’integrità dei sistemi per evitare derive accidentali o semplicemente errori di configurazione.

Penetration test per la sicurezza dell’intelligenza artificiale

I penetration test a cui siamo abituati nella sicurezza IT tradizionale opportunamente rivisti sono un ulteriore tassello fondamentale per effettuare controlli empirici ad un sistema di IA.

Per esempio, bisogna ragionare come un potenziale attaccante: simulare input malevoli, provare attacchi di tipo adversarial, testare la resilienza del modello rispetto a manipolazioni, e verificare che l’integrazione di modelli esterni non introduca backdoor o codice pericoloso.

Ma osservare non basta. Serve anche mettere dei controlli attivi tra l’utente e il modello.

Un’architettura che preveda un AI Gateway o AI firewall, per esempio, permette di filtrare e validare le richieste prima che arrivino al sistema. Questo è particolarmente importante per contrastare attacchi di tipo prompt injection, oggi considerati tra i più diffusi e pericolosi nel contesto dei modelli linguistici di grandi dimensioni.

Il rischio di fuga dei dati

Parallelamente, bisogna evitare che i modelli diventino veicoli di fuga di dati riservati.

Così come occorre garantire che l’IA, per esempio, non generi risposte che includano informazioni sensibili come dati sanitari, personali o proprietà intellettuali.

I tradizionali strumenti di data loss prevention devono vengono adattarsi al contesto dell’IA per monitorare ciò che entra e soprattutto ciò che esce dai modelli.

Attività di reporting strutturata

Infine, tutti questi sforzi devono essere tracciabili, documentati e condivisibili. La gestione del rischio non può prescindere da un’attività di reporting strutturata, capace di informare il management su come l’IA viene utilizzata, quali rischi sono stati individuati, e come si sta intervenendo.

Questo è anche il fondamento della compliance, che non è solo una questione normativa, ma una pratica che dimostra responsabilità e trasparenza.

Il quadro regolatorio per la sicurezza dell’intelligenza artificiale

Oggi esistono framework di riferimento come quello proposto dal NIST, ma anche ciò che è stato prodotto in tavoli di standardizzazione come l’ISO 42001, ma ogni organizzazione dovrà definire il proprio modello di governance, adattato ai propri obiettivi e contesto anche in riferimento al contesto in cui opera e alla presenza di regolamenti e leggi come l’AI Act e regolamenti e guideline proposte da enti di riferimento di sicurezza come il gruppo di lavoro Owasp.

La presenza di leggi, regolamenti e direttive come l’AI Act, devono essere viste non solo come un obbligo da soddisfare per evitare ipotetiche multe, quasi un esercizio di file Excel da compilare e checkbox da segnare. Ma l’AI Act o le linee guida, d’altra parte, rappresentano il minimo indispensabile per soddisfare il bisogno di sicurezza dei sistemi di IA.

Questa attività non solo è necessaria per evitare o ridurre rischi per l’azienda, ma vuole contribuire, specie in questo momento, a creare un vantaggio competitivo per l’azienda dimostrando trasparenza robustezza verso il mercato e i clienti, ma anche avere la possibilità di accedere a mercati con requisiti di compliance più stringenti, per fare alcuni esempi.

Nuove forme di attacco

La sicurezza di un sistema di intelligenza artificiale è quindi un’attività articolata che non è conferibile come ulteriore compito ai team che sovrintendono la sicurezza dei sistemi IT tradizionali.

Vi sono forme di attacco nuove (prompt injection, model stealing, data poisoning) sia strumenti di difesa altrettanto differenti. Inoltre è richiesto un approccio end-to-end e multidisciplinare, combinando il supporto di esperti di sicurezza, che seguono principi e linee guida adattarli al nuovo paradigma, ma anche esperti di IA stessa, Risk Management & Compliance.

La regia della sicurezza dell’IA

Proprio come un film non si fa solo con il protagonista, ma grazie al lavoro silenzioso e coordinato di centinaia di persone, anche un sistema di IA funziona solo se ogni sua parte è sicura e sotto controllo.

In un contesto aziendale, non si tratta solo di far funzionare bene il modello ed avere un’accuratezza e una capacità predittiva elevata, ma di garantire che ogni dato, ogni connessione, ogni configurazione sia allineata con i principi di sicurezza e affidabilità che viene richiesta.