L’impresa introduce spiegazioni nei sistemi di intelligenza artificiale per una ragione apparentemente indiscutibile: una raccomandazione comprensibile dovrebbe essere più facile da verificare di un responso opaco. Questa aspettativa confonde però tre proprietà differenti. Una spiegazione può essere leggibile senza essere fedele al processo che ha prodotto l’output; può risultare convincente senza fornire prove controllabili; può aumentare la fiducia senza migliorare la capacità di riconoscere un errore. Quando entra in un processo gerarchico, inoltre, non agisce soltanto sulla cognizione individuale. Stabilisce quale posizione appaia già motivata, chi debba sostenere il costo del dissenso e quale decisione possa essere approvata rapidamente. Il rischio non consiste quindi semplicemente nell’eccessiva fiducia nella tecnologia. Consiste nel trasformare una giustificazione generata in una fonte di autorità organizzativa. L’impresa che conserva formalmente una persona nel circuito può avere già trasferito alla macchina il potere sostanziale di definire la decisione normale, lasciando all’essere umano soltanto l’onere di provare perché occorra deviare.