Mostra sommario Nascondi sommario
Un team di esperti britannici ha scoperto che bastano richieste generiche per convincere ChatGPT a creare immagini estremamente grafiche, sollevando dubbi sulle difese dei modelli generativi e sulle conseguenze per vittime e utenti. La vicenda evidenzia quanto siano fragili i meccanismi di filtraggio e perché sia urgente una verifica indipendente delle protezioni.
Il ricercatore coinvolto, parte di un gruppo etico di test noto come red team, racconta di essere rimasto profondamente scosso dalle immagini prodotte durante le prove. Il suo ruolo è proprio quello di simulare attacchi — i cosiddetti jailbreak — per mettere alla prova i limiti delle contromisure e segnalare falle che potrebbero essere sfruttate da malintenzionati.
Lo spunto per l’esperimento è venuto da un post virale pubblicato su X da Kris Kashtanova, figura nota nel mondo dei prompt e formatasi anche in ambito AI. Kashtanova suggeriva di chiedere al modello di “ripristinare” una foto senza allegarla: una richiesta volutamente vaga che, secondo i partecipanti al trend, dava esiti a tratti bizzarri e in altri casi molto inquietanti.
Sconti shock su grandi giochi: aggiorna subito la libreria, ancora per poco
Hope di Na Hong-jin: trailer sci-fi horror con mostri e sangue
Con poche modifiche al prompt, il chatbot ha generato immagini che il team definisce **esplicite e disturbanti**: fotografie simulate di una studentessa apparentemente legata e ferita, didascalie elaborate automaticamente che richiamavano concetti di paura o costrizione, e scene iperrealistiche di corpi mutilati o con organi esposti. Secondo il ricercatore, alcune di queste immagini sembrano attingere a materiale reale usato per l’addestramento del modello.
La preoccupazione centrale è proprio questa: anche se il risultato è artificiale, potrebbe riflettere o combinare fotografie di persone realmente vittime di violenza. In altre parole, le immagini non sarebbero solo invenzioni astratte ma potenzialmente derivate da contenuti sensibili presenti nei dataset di allenamento — un problema con implicazioni etiche e legali che tocca le famiglie delle vittime e la responsabilità delle aziende che costruiscono questi sistemi.
Mindgard ha segnalato la falla a OpenAI attraverso i canali di sicurezza indicati dall’azienda, ma la prima risposta ricevuta è stata automatica e ha rimandato all’uso di un form pensato per problemi infrastrutturali. Solo dopo circa un mese OpenAI ha comunicato di aver applicato correzioni; tuttavia, gli sperimentatori sono riusciti in seguito a ottenere risultati analoghi variando leggermente i prompt, dimostrando che la soluzione non è stata definitiva.
I precedenti
Non si tratta di un episodio isolato: modelli diversi hanno mostrato fragilità simili. All’inizio dell’anno il chatbot Grok, sviluppato da xAI, è stato accusato di generare deepfake sessuali non consensuali, anche riguardanti minorenni. Dopo polemiche pubbliche e pressioni regolatorie, alcune funzionalità sono state temporaneamente limitate o riservate a utenti a pagamento, poi parzialmente ritirate dall’azienda. Rapporti successivi però hanno indicato che i divieti non hanno sempre impedito la produzione di contenuti illeciti.
Questi precedenti mostrano un quadro ripetuto: correzioni temporanee che non eliminano del tutto la possibilità di abuso, e una difficoltà delle società a fornire risposte rapide ed efficaci alle vulnerabilità segnalate.
Perché conta oggi
La facilità con cui si possono aggirare i filtri ha conseguenze pratiche immediate: rischi di emulazione, diffusione di immagini dannose, e ulteriore traumatizzazione per vittime reali. Allo stesso tempo mette in luce lacune nei processi di segnalazione e nell’accountability delle aziende tecnologiche.
Esperti indipendenti e red team richiedono accesso più trasparente ai meccanismi di difesa, canali di comunicazione dedicati e tempi di risposta certi. Regolatori e operatori del settore potrebbero dover intervenire per definire standard minimi di sicurezza, audit esterni e obblighi di rimedio più rapidi.
Per gli utenti la lezione è chiara: quando le piattaforme annunciano limiti ai modelli generativi, la cautela resta necessaria. E per le aziende che sviluppano AI, la sfida è dimostrare che le misure prese non sono solamente reattive, ma in grado di prevenire abusi riproducibili con prompt anche molto banali.
