Cosa guarda davvero l’IA quando segnala un attacco
Come i meccanismi di attenzione aiutano a capire su quali parti dei dati si basa una decisione automatica
Quando un sistema di intelligenza artificiale segnala una minaccia informatica, la domanda non è solo se abbia ragione oppure no. Conta anche capire su che cosa si basi. Da qui prende avvio lo studio dedicato a VINCENT. La ricerca non si limita a cercare una classificazione accurata, ma prova anche a rendere più leggibile il percorso con cui il modello arriva alla propria decisione. In un ambito come la cybersicurezza questo aspetto è particolarmente importante, perché un allarme è più utile se si riesce a capire anche quali elementi dell’informazione abbiano pesato davvero nel distinguere un comportamento benigno da uno malevolo.
Per affrontare questo problema, gli autori usano un modello di intelligenza artificiale progettato per analizzare immagini mettendo in relazione le diverse parti che le compongono, chiamato Vision Transformer. È proprio questo meccanismo di attenzione a permettere di osservare quali aree della rappresentazione risultino più importanti nel momento della classificazione. Nel lavoro di VINCENT i dati di partenza vengono trasformati in immagini, ma qui questo passaggio conta solo come premessa tecnica. Il punto centrale è un altro: la spiegabilità non arriva come un commento esterno formulato dopo la decisione, ma nasce dal modo stesso in cui il modello è costruito.
Questo meccanismo funziona perché il modello non considera l’immagine come un blocco unico, ma mette in relazione le diverse parti che la compongono. In questo modo la decisione non dipende da un singolo dettaglio isolato, ma dal peso che assumono i rapporti tra più zone della rappresentazione. Dopo l’addestramento, queste tracce possono essere ricostruite con una procedura specifica, chiamata attention roll-out, che riunisce le informazioni raccolte nei vari passaggi del modello. Il risultato è una mappa di attenzione, cioè una rappresentazione che mostra quali aree abbiano inciso di più nella decisione finale.
Le mappe di attenzione possono essere lette come immagini in cui le zone più evidenti sono quelle considerate più rilevanti dal modello. Ma lo studio compie un passo ulteriore. Non si limita infatti a visualizzare queste mappe, ma le usa per costruire nuove rappresentazioni delle immagini originarie, nelle quali vengono messe in risalto proprio le parti del dato che hanno contato di più. Questo permette di passare dall’interpretazione del singolo caso a un livello più generale. Mettendo insieme le rappresentazioni dei campioni appartenenti alla stessa classe, gli autori ricavano infatti delle vere e proprie firme visive, cioè immagini che sintetizzano i tratti ricorrenti di una certa categoria di comportamento o di attacco.
Per capire se queste firme descrivano davvero bene le diverse classi, lo studio verifica quanto i singoli casi somiglino alla firma visiva del gruppo a cui appartengono. Quando questa somiglianza è alta, significa che la firma riesce davvero a riassumere i tratti comuni di quella classe; quando invece i casi sono più dispersi, la rappresenta peggio. I risultati mostrano che le firme costruite con l’attenzione descrivono meglio le diverse classi di attacco rispetto alle immagini di partenza. Questo vale sia nei dati usati per addestrare il modello sia in quelli usati per verificarne il funzionamento. Il caso più difficile è quello di NSL-KDD, perché nella fase di verifica compaiono anche tipi di attacco che il modello non aveva visto prima. È una situazione simile a quella in cui un sistema di sicurezza incontra minacce nuove. Anche in questo caso, però, le firme basate sull’attenzione restano più efficaci.
La parte più interessante è che questa spiegazione non resta astratta. Lo studio mostra infatti che, in alcuni casi, il modello mette in evidenza segnali molto concreti. Nei dati sul malware Android emergono operazioni legate al modo in cui un’app interviene sui file del sistema: per esempio controllare com’è organizzata la memoria del dispositivo, scrivere dati dentro un file o salvare in modo stabile le modifiche effettuate. Considerate da sole, queste attività non bastano a dire che un programma sia malevolo, ma possono diventare significative quando ricorrono in certe combinazioni e assumono un certo peso. Nei dati sul traffico di rete, invece, affiorano altri indizi: un numero anomalo di connessioni dirette verso lo stesso bersaglio, errori nella fase iniziale di apertura di una connessione, tentativi di ottenere privilegi da amministratore e segnali sospetti legati all’uso di FTP, cioè un servizio usato per trasferire file da un computer all’altro, oppure ad accessi come ospite, cioè ingressi con permessi limitati che in alcuni contesti possono indicare comportamenti anomali. In questo modo la spiegabilità non resta una formula tecnica, ma diventa la possibilità di capire, in termini abbastanza concreti, quali segnali il modello stia usando per distinguere i diversi tipi di attacco.
Nel suo insieme, lo studio mostra quindi che un sistema di intelligenza artificiale può fare qualcosa di più che limitarsi a segnalare una minaccia. Può anche offrire indicazioni, almeno in parte, su quali elementi dei dati abbiano orientato quella decisione. È questo il punto più interessante del lavoro su VINCENT: non solo riconoscere un attacco, ma provare a rendere più leggibile il percorso che porta a individuarlo. In un ambito delicato come la cybersicurezza, dove gli allarmi non dovrebbero essere semplici scatole nere, questo aiuta a capire meglio se il modello si stia basando su segnali coerenti e davvero rilevanti.
Questo articolo nasce nell’ambito delle attività di Terza Missione promosse da Stroncature in collaborazione con l’Università degli Studi di Bari Aldo Moro, nel quadro delle iniziative di Public Engagement finanziate dal “Bando per Finanziamento di Iniziative di Public Engagement” a valere sul Progetto “Sistema Universitario Pugliese”, finanziato nell’ambito della misura “Patti Territoriali dell’Alta Formazione per le Imprese” (CUP F61B23000370006). Il testo rielabora in forma divulgativa il contributo scientifico “VINCENT: Cyber-threat detection through vision transformers and knowledge distillation” di Luca De Rose, Giuseppina Andresini, Annalisa Appice e Donato Malerba, dell’Università degli Studi di Bari Aldo Moro, pubblicato sulla rivista Computers & Security, vol. 144, 2024, art. 103926, DOI 10.1016/j.cose.2024.103926, per renderne i contenuti più fruibili a un pubblico non specialista.
