Lo scorso 10 giugno, Stroncature ha ospitato un incontro dal titolo “Spiegabilità XAI: aprire la scatola nera dell’intelligenza artificiale”. L’appuntamento si è inserito nelle attività di Terza Missione promosse da Stroncature in collaborazione con il Dipartimento di Informatica dell’Università degli Studi di Bari Aldo Moro, nel quadro del progetto di Public Engagement “UNIBA 2030 – Intelligenza Artificiale e Sostenibilità”, nell’ambito del Patto Territoriale Sistema Universitario Pugliese. Nel corso del webinar sono intervenuti il prof. Stefano Ferilli, la dott.ssa Giuseppina Andresini e il prof. Corrado Mencar, con il contributo della dott.ssa Marianna Cavone di InnovaPuglia.
Quando si parla di intelligenza artificiale, il tema della spiegabilità viene spesso presentato come una questione per specialisti. Il webinar ha mostrato invece che si tratta di un problema molto più ampio. Se questi sistemi entrano in ambiti che incidono su decisioni importanti, dalla cybersicurezza alla pubblica amministrazione, non basta valutarne l’efficienza. Diventa necessario capire come arrivano ai loro risultati, quali limiti presentano e in quali condizioni sia possibile fidarsene davvero. La “scatola nera”, in questo senso, non è solo un’immagine suggestiva: indica una difficoltà concreta che riguarda controllo, responsabilità e affidabilità.
Ad aprire l’incontro è stato il prof. Stefano Ferilli, che ha posto subito il problema in termini molto chiari. L’intelligenza artificiale si è diffusa ben oltre i laboratori ed è ormai usata anche da utenti comuni, non sempre preparati a capire quale strumento stiano adoperando e come debbano usarlo. Questo diventa decisivo quando le applicazioni toccano settori delicati, come quello medico, giuridico o economico, nei quali non ci si può limitare ad accettare un risultato solo perché appare plausibile. Ferilli ha così richiamato il tema della fiducia e ha proposto una distinzione utile tra trasparenza, comprensibilità, interpretabilità e spiegabilità. La trasparenza riguarda i meccanismi interni del sistema; la comprensibilità riguarda il significato del risultato per chi lo riceve; l’interpretabilità riguarda il legame tra richiesta e risposta anche senza vedere tutto ciò che sta in mezzo; la spiegabilità, nel senso più forte, richiede invece la possibilità di ripercorrere i passaggi che hanno portato a una conclusione.
Nel suo intervento si è soffermato in particolare sui modelli linguistici di grandi dimensioni. Questi sistemi, proprio perché dialogano in linguaggio naturale, danno spesso l’impressione di poter spiegare il proprio comportamento. Il punto critico, però, è che anche le spiegazioni vengono generate con lo stesso meccanismo statistico con cui il modello produce le risposte. Per questo non si può assumere automaticamente che la spiegazione corrisponda davvero al percorso seguito per arrivare al risultato. Ferilli ha richiamato anche la distinzione resa celebre da Daniel Kahneman tra pensiero veloce e pensiero lento: il primo, intuitivo e immediato, assomiglia al funzionamento dei modelli generativi; il secondo è invece il ragionamento controllato, che prova a verificare e razionalizzare. Da qui la sua proposta: non contrapporre semplicemente questi due livelli, ma provare a unirli, combinando la forza dei modelli neurali con forme di ragionamento simbolico e logico più controllabili. In questa prospettiva, l’obiettivo è costruire sistemi spiegabili fin dall’inizio, e non limitarsi a fornire, in un secondo momento, spiegazioni plausibili ma non necessariamente corrispondenti al processo reale.
La seconda relatrice, la dott.ssa Giuseppina Andresini, ha portato il discorso nel campo della cybersicurezza, mostrando perché in questo ambito la spiegabilità sia particolarmente importante. L’intelligenza artificiale consente di individuare gli attacchi in modo più rapido ed efficace anche su grandi quantità di dati, ma nello stesso tempo apre nuove vulnerabilità. Anche gli attaccanti possono usare strumenti di IA, e gli stessi modelli possono essere esposti ad attacchi pensati per ingannarli. In questo contesto il problema della scatola nera diventa immediato: un sistema può segnalare una minaccia senza essere in grado di chiarire perché l’abbia classificata in quel modo. Andresini ha spiegato che l’integrazione di tecniche di XAI serve proprio a rendere queste decisioni più leggibili, ad accrescere la fiducia nei modelli e a offrire agli analisti strumenti più utili per valutare gli alert e individuare contromisure adeguate. Ha inoltre ricordato che il tema non è solo tecnico, ma anche normativo: ha richiamato infatti il GDPR, sottolineando che un sistema che usa dati personali deve poter spiegare come arriva alle sue decisioni.
Nel corso del suo intervento ha mostrato anche che la spiegabilità non serve soltanto a commentare il comportamento di un modello dopo che ha deciso, ma può diventare un modo per migliorarne le prestazioni. Attraverso mappe di calore e firme visive, è possibile mettere in evidenza quali caratteristiche contano di più nel riconoscimento di certi attacchi. Nel caso di un attacco denial of service, per esempio, diventano rilevanti il numero di connessioni verso uno stesso host o una stessa destinazione; in altri casi assumono peso elementi coerenti con il tentativo di ottenere privilegi amministrativi. Andresini ha insistito anche su un altro aspetto: nella cybersicurezza i dati e gli attacchi cambiano continuamente nel tempo, perché chi attacca modifica le proprie tecniche per eludere i sistemi di difesa. Anche per questo la spiegabilità può aiutare a capire come cambiano i modelli e quali segnali diventano via via più importanti.
Proprio qui emerge il carattere ambivalente della XAI. Le spiegazioni sono utili ai difensori perché aiutano a capire su quali elementi il sistema si basi, ma queste stesse informazioni possono essere sfruttate dagli attaccanti. Se una spiegazione rivela quali caratteristiche pesano di più nella decisione, può infatti suggerire anche quali aspetti modificare per eludere il modello. Andresini ha aggiunto che gli stessi metodi di spiegabilità possono a loro volta essere manipolati. Da qui nasce una tensione molto concreta: un sistema deve essere abbastanza trasparente da generare fiducia e aiutare chi lo usa, ma non tanto da esporsi facilmente a nuove manipolazioni. Per questo la spiegabilità va valutata insieme ad altri requisiti, come stabilità, efficienza e robustezza.
Il terzo relatore, il prof. Corrado Mencar, ha ripreso il tema della fiducia da una prospettiva più ampia, collegandolo alla diffusione dell’IA nelle organizzazioni. Oggi questi strumenti vengono impiegati in attività sempre più ordinarie, dall’assistenza clienti alla selezione del personale, dall’analisi dei dati alla gestione dei documenti. Ma la loro grande visibilità non coincide necessariamente con la loro maturità. Richiamando il modello dell’Hype Cycle, Mencar ha ricordato che molte tecnologie emergenti attraversano prima una fase di forte entusiasmo, in cui le aspettative crescono più rapidamente dei risultati concreti, e poi una fase di disillusione, quando emergono problemi di affidabilità, costi, integrazione e governo dei processi. Il punto, allora, non è soltanto costruire sistemi potenti, ma costruire sistemi di cui ci si possa fidare, soprattutto quando errori e opacità possono produrre conseguenze serie.
Per mostrare che gli errori hanno un prezzo reale, Mencar ha richiamato alcuni casi noti: il sistema di selezione del personale di Amazon, abbandonato perché tendeva a penalizzare le candidature femminili; il caso di un avvocato che aveva presentato atti contenenti sentenze inesistenti generate dall’IA; il caso Air Canada, il cui chatbot aveva promesso uno sconto poi diventato oggetto di una decisione giudiziaria che ha ritenuto la compagnia responsabile; e infine Starbucks, che ha ritirato un sistema automatico di inventario perché sbagliava i conteggi. Il senso di questi esempi era chiaro: la responsabilità finale non scompare dietro il sistema, ma resta in capo all’organizzazione che lo usa. Ed è proprio per questo che, secondo Mencar, la spiegabilità non è un lusso accademico, ma uno strumento di gestione del rischio.
Su questa base, Mencar ha proposto l’idea di una intelligenza artificiale certificabile. Non si tratta semplicemente di un’IA efficace, ma di un sistema valutabile, verificabile, tracciabile e riconducibile a responsabilità precise. In questa prospettiva, la spiegabilità si lega alla possibilità di controllare il comportamento del sistema, di ricostruire il processo decisionale e di chiarire chi risponde delle conseguenze prodotte. Ha richiamato anche alcuni riferimenti normativi e di standardizzazione, come l’AI Act, con i suoi diversi livelli di rischio, il NIST AI Risk Management Framework e la ISO 42001. Ma ha insistito anche su un punto ulteriore: una spiegazione non è soltanto un problema tecnico. Per essere davvero utile deve poter essere compresa da chi la riceve. Per questo la spiegabilità nasce dall’incontro tra più discipline: lo sviluppo dei modelli, l’interazione con gli utenti e la capacità di comunicare il funzionamento del sistema in modo leggibile. In questo senso, essa funziona come un ponte tra la tecnologia e la fiducia di chi deve usarla, valutarla e controllarla. Nella parte finale del suo intervento ha poi richiamato esplicitamente la logica fuzzy, che rappresenta la sua linea di ricerca. L’idea, spiegata in modo semplice, è costruire regole decisionali più vicine al linguaggio umano, non rigidamente chiuse ma capaci di esprimere gradazioni. Un esempio è questo: se il rischio è elevato e la capacità di rimborso è bassa, allora il credito va valutato con maggiore cautela. Regole di questo tipo, ha osservato, possono essere lette, discusse e verificate da esperti, auditor e regolatori, e per questo aiutano a costruire sistemi trasparenti fin dall’inizio, invece di tentare di spiegare dopo una scatola nera.
Il quarto intervento, affidato alla dott.ssa Marianna Cavone di InnovaPuglia, ha spostato il discorso nel contesto della pubblica amministrazione e, in particolare, nella gestione degli acquisti pubblici. In questo ambito l’intelligenza artificiale può contribuire a rendere più rapidi e sicuri processi complessi, ma soltanto se viene inserita in un quadro di trasparenza, tracciabilità e responsabilità. Cavone ha insistito sul fatto che, nella predisposizione degli atti, nella previsione dei fabbisogni e nella costruzione delle procedure, non basta che un sistema produca un risultato utile o corretto: quel risultato deve essere leggibile, verificabile, documentabile e motivabile. Nella pubblica amministrazione, infatti, la responsabilità finale resta sempre umana. L’IA può essere uno strumento, ma non può sostituire il dovere del funzionario pubblico di controllare gli atti e risponderne.
Nel suo intervento, Cavone ha affiancato più volte alla XAI il tema della IA simbiotica, presentando questi due elementi come un binomio essenziale per un uso responsabile dell’intelligenza artificiale nella pubblica amministrazione. Ha ricordato anche che alcune applicazioni del’IA, nell’ambito degli acquisti pubblici, rientrano nell’AI Act in una classe di rischio alta e ha richiamato gli studi di AGID e la Strategia italiana per l’intelligenza artificiale 2024-2026, evidenziando le esigenze di tracciabilità delle fonti, accuratezza e pertinenza, al fine di creare fiducia. Ha poi illustrato alcune esperienze già avviate da InnovaPuglia, tra cui la collaborazione con l’Università di Bari e il cofinanziamento di due dottorati di ricerca, uno dedicato all’IA predittiva applicata ai processi di acquisto basati sul valore e uno all’IA generativa per i servizi della pubblica amministrazione, con attenzione anche alla produzione e all’analisi dei documenti di gara. Il punto del suo intervento, però, non era soltanto presentare progetti in corso. Era mostrare che l’adozione dell’IA nella pubblica amministrazione richiede un lavoro serio su qualità delle fonti, accuratezza delle informazioni, possibilità di controllo e tutela dei diritti, perché in questo ambito un errore non è soltanto un limite tecnico, ma può trasformarsi in un problema amministrativo, giuridico e democratico.
Alla fine dell’incontro emergeva con chiarezza un punto di fondo: la spiegabilità non è un elemento accessorio. Incide sulla qualità dell’uso, sulla possibilità di controllare gli errori, sulla conformità alle regole e sulla fiducia di chi deve usare o subire le decisioni dell’intelligenza artificiale. Per questo la domanda “come funziona?” non riguarda solo gli specialisti. Riguarda tutti i contesti in cui questi sistemi entrano a orientare scelte, valutazioni e procedure. Quanto più diventano rilevanti, tanto meno è accettabile che restino opachi.
