Con i recenti procedimenti su DeepSeek, Mistral AI e NOVA AI, l’AGCM chiarisce un punto semplice: non conta solo che l’IA possa sbagliare, ma come questo rischio viene comunicato
Con il provvedimento n. 31864, l’AGCM affronta uno dei profili più delicati dei servizi di intelligenza artificiale generativa: la gestione del rischio di output inesatti (“allucinazioni”) sotto il profilo della tutela del consumatore.
Il procedimento PS12968 riguarda il servizio “Le Chat” di Mistral AI. L’Autorità ha ipotizzato una violazione degli artt. 20, 21 e 22 del Codice del Consumo, ritenendo che gli utenti non fossero informati in modo sufficientemente chiaro, immediato e intellegibile della possibilità che il sistema generasse risposte errate o fuorvianti. Il punto non era tanto l’assenza di informazioni in senso assoluto — presenti nelle condizioni di servizio e nel centro assistenza — quanto la loro concreta accessibilità e visibilità nell’esperienza d’uso.
La decisione si inserisce in una linea ormai consolidata: nelle pratiche digitali rivolte ai consumatori, l’informazione rilevante deve essere effettiva, non meramente formale. In altri termini, non è sufficiente che il rischio sia descritto in documenti contrattuali, se tali documenti non sono immediatamente accessibili o non intercettano l’utente nel momento in cui assume decisioni o utilizza il servizio.
In questo contesto, Mistral AI ha presentato impegni ai sensi dell’art. 27, comma 7, del Codice del Consumo, evitando un accertamento di infrazione. Gli impegni, ritenuti idonei a rimuovere i profili critici, si articolano lungo quattro direttrici principali: (i) inserimento di disclaimer direttamente nelle finestre di dialogo (“Le Chat può commettere errori. Controlla le risposte”); (ii) rafforzamento e traduzione in italiano delle condizioni di servizio, con esplicita indicazione dell’inaffidabilità potenziale degli output e della necessità di verifica; (iii) miglioramento dell’accessibilità delle condizioni di servizio lungo tutto il percorso utente (homepage, login, registrazione, app store, interfaccia); (iv) traduzione integrale del sito e del centro assistenza in lingua italiana.
Il tratto distintivo del provvedimento è l’affermazione di una trasparenza “contestuale”: l’utente deve essere avvertito del rischio non solo “da qualche parte”, ma nel momento e nel luogo in cui quel rischio si manifesta, cioè durante l’interazione con il sistema. È un passaggio che avvicina la disciplina consumeristica alla logica del compliance by design, già nota in altri ambiti regolatori.
La decisione ha inoltre un riflesso sistemico: le “allucinazioni” non sono più solo un limite tecnologico, ma diventano un elemento giuridicamente rilevante nella valutazione della correttezza della pratica commerciale. Un sistema di IA generativa che, anche implicitamente, induca l’utente a ritenere affidabili le proprie risposte può integrare un profilo di scorrettezza, se non adeguatamente accompagnato da avvertenze chiare.
Conclusioni pratiche
Per gli operatori che sviluppano o integrano soluzioni di IA generativa:
