Quando un modello grande insegna a uno piccolo
La distillazione della conoscenza serve a costruire un sistema più leggero per l’uso operativo, senza ridurlo a una semplice semplificazione del modello di partenza
Nei sistemi di cybersicurezza non basta riconoscere una minaccia: bisogna farlo con modelli che siano insieme affidabili e adatti all’uso operativo. È da questa esigenza che nasce VINCENT. Lo studio propone un’architettura in due passaggi. Un primo modello, più ricco, viene addestrato per apprendere nei dati strutture utili a distinguere i comportamenti benigni dalle diverse forme di attacco. Un secondo modello, più piccolo, basato su una rete neurale progettata per leggere immagini in modo più semplice e leggero, impara a partire da ciò che il primo modello ha già capito e viene poi usato come sistema finale di classificazione. Il punto centrale, quindi, non è usare il modello grande come soluzione definitiva, ma farne una guida per addestrare un sistema meno complesso, più adatto alla fase operativa. In questo senso, il lavoro non presenta soltanto una soluzione accurata, ma una procedura che cerca di tenere insieme qualità della decisione, trasferimento di conoscenza e sostenibilità dell’uso pratico.
Per arrivare a questo risultato, il metodo parte ancora una volta dai dati di cybersicurezza trasformati in immagini. Ma qui questo passaggio resta sullo sfondo. Il punto centrale è un altro: il primo modello, più ricco, viene addestrato non solo per riconoscere le minacce, ma anche per mettere in evidenza quali parti dei dati contino di più nella decisione. Su questa base, lo studio costruisce immagini rielaborate che guidano l’apprendimento del secondo modello, più piccolo. Il trasferimento di conoscenza, quindi, non avviene come un semplice passaggio di risposte corrette da un sistema all’altro. Avviene attraverso un percorso più strutturato, nel quale il modello più ricco orienta concretamente ciò che il modello più semplice dovrà imparare a riconoscere e a distinguere.
La distillazione, nello studio, è descritta come un passaggio molto concreto. Il modello più grande viene prima addestrato e poi usato come punto di riferimento stabile. A quel punto entra in gioco il modello più piccolo, che non impara soltanto dalle risposte corrette, ma anche dal modo in cui il modello grande distribuisce il proprio giudizio tra le diverse possibilità. In altre parole, non riceve solo l’indicazione finale su quale classe scegliere, ma anche un segnale più sfumato su come orientare la propria decisione. Lo studio introduce anche un parametro, indicato con la lettera greca τ, che serve proprio a regolare quanto questo segnale trasferito dal modello grande sia netto o morbido. È questo che rende la distillazione qualcosa di più di una semplice semplificazione: il modello piccolo non copia meccanicamente il primo, ma viene guidato da una forma di conoscenza più ricca, che il lavoro considera parte essenziale del metodo.
Proprio per questo il modello più piccolo non impara soltanto dai dati e dalle etichette corrette. Impara anche dal modo in cui il modello più grande ha organizzato la propria decisione. Questo passaggio è importante perché cambia il senso stesso della distillazione: non si tratta solo di ridurre un modello complesso, ma di trasferire una conoscenza più strutturata. Il modello finale riceve infatti immagini già rielaborate attraverso l’attenzione del Vision Transformer e, nello stesso tempo, viene guidato a produrre risposte coerenti con quelle del teacher. L’obiettivo è chiaro: costruire un sistema meno complesso e più adatto all’uso finale, ma addestrato a partire da una rappresentazione più ricca di quella che avrebbe potuto apprendere da solo. In un ambito come la cybersicurezza, dove bisogna distinguere rapidamente tra comportamenti benigni e tipi diversi di minaccia, questo equilibrio tra ricchezza del teacher e leggerezza dello student è uno degli aspetti più significativi del lavoro.
Il lavoro, però, non si limita a proporre questa idea: cerca anche di dimostrare, con verifiche interne, perché funzioni davvero. Per farlo mette a confronto VINCENT con quattro soluzioni alternative. In un caso si usa da sola la rete più semplice destinata alla classificazione finale; in un altro si usa da solo il modello più ricco basato su Vision Transformer. In un terzo caso si mantiene la distillazione, ma il modello finale viene addestrato sulle immagini di partenza, senza la rielaborazione guidata dall’attenzione del modello più grande. In un quarto caso si mantiene ancora la distillazione, ma il ruolo di guida non viene affidato al Vision Transformer: al suo posto c’è una rete più semplice. Questo confronto è decisivo, perché mostra che VINCENT supera tutte queste varianti. Il punto più importante è che non basta avere un modello più ricco da cui imparare: conta anche quale tipo di informazione viene trasferita e in che modo questa entra nell’apprendimento del modello finale.
A questa verifica interna lo studio aggiunge poi un confronto con altri metodi recenti di rilevamento delle minacce informatiche. Questo passaggio è importante perché permette di valutare VINCENT non solo rispetto alle sue varianti interne, ma anche rispetto a soluzioni già presenti nella ricerca su questi temi. Il quadro che emerge è coerente con l’idea di fondo del lavoro: la combinazione tra un modello guida più ricco, immagini rielaborate con l’attenzione e un modello finale più leggero consente di ottenere i risultati migliori nei quattro insiemi di dati considerati. Non serve entrare qui nel dettaglio dei numeri per coglierne il senso. Il confronto serve soprattutto a mostrare che il vantaggio di VINCENT non dipende da un accorgimento isolato, ma da un’architettura di apprendimento costruita in modo preciso, capace di tenere insieme accuratezza, trasferimento di conoscenza e minore complessità del sistema finale.
È qui che il significato del lavoro diventa più chiaro. Il modello più grande non è importante solo perché riesce a cogliere più informazioni, ma perché permette di addestrare meglio quello più piccolo. Quest’ultimo, a sua volta, non è una semplice versione ridotta del primo, ma il risultato di un percorso in cui una parte della conoscenza viene trasferita in una forma più efficiente. Lo studio insiste proprio su questo equilibrio: usare un modello ricco per orientare l’apprendimento e arrivare così a un sistema finale più leggero, ma comunque capace di mantenere un buon livello di accuratezza. In questo senso, il contributo di VINCENT non sta soltanto nell’aver affiancato due modelli diversi, ma nell’aver mostrato che questa combinazione funziona quando è sostenuta da una logica precisa, da verifiche interne convincenti e da un confronto favorevole con altri metodi già esistenti.
Questo articolo nasce nell’ambito delle attività di Terza Missione promosse da Stroncature in collaborazione con l’Università degli Studi di Bari Aldo Moro, nel quadro delle iniziative di Public Engagement finanziate dal “Bando per Finanziamento di Iniziative di Public Engagement” a valere sul Progetto “Sistema Universitario Pugliese”, finanziato nell’ambito della misura “Patti Territoriali dell’Alta Formazione per le Imprese” (CUP F61B23000370006). Il testo rielabora in forma divulgativa il contributo scientifico “VINCENT: Cyber-threat detection through vision transformers and knowledge distillation” di Luca De Rose, Giuseppina Andresini, Annalisa Appice e Donato Malerba, dell’Università degli Studi di Bari Aldo Moro, pubblicato sulla rivista Computers & Security, vol. 144, 2024, art. 103926, DOI 10.1016/j.cose.2024.103926, per renderne i contenuti più fruibili a un pubblico non specialista.
