Questo articolo è stato pubblicato da questo sito
Il termine tecnico che descrive gli attacchi diretti ai chatbot basati su AI è “prompt injection” ed esperti di sicurezza e ricercatori hanno lanciato l’allarme sui rischi legati a questa forma di hacking già all’indomani del lancio sul mercato dei primi modelli di intelligenza artificiale.
Gli sforzi degli sviluppatori software per arginare il rischio che i cyber criminali possano sfruttare questo tipo di tecnica si scontrano però con un numero incredibile di possibili varianti, l’ultima delle quali fa leva su immagini che permettono di inviare istruzioni all’AI nascondendoli in un’immagine. I ricercatori che hanno messo a punto la tattica hanno verificato che Gemini è tra i chatbot vulnerabili.
Come funziona l’attacco
Il concetto alla base della prompt injection è quello di inviare delle istruzioni (prompt) a un chatbot per fargli eseguire delle operazioni malevole. Per farlo, ovviamente, un cyber criminale deve riuscire a nascondere in qualche modo il prompt in un contenuto qualsiasi e fare in modo che la potenziale vittima lo sottoponga all’AI.
Una delle tecniche più semplici sfrutta messaggi di posta o documenti di testo in cui il prompt è scritto in caratteri bianchi su sfondo bianco, apparendo così invisibile per l’occhio umano ma perfettamente leggibile per il chatbot.
Esistono varianti più raffinate, come quelle che sfruttano il codice Html per impostare il carattere a zero, in modo che sia ancora più difficile accorgersi della presenza dei contenuti nascosti.
Il nuovo stratagemma individuato da Kikimora Morozova e Suha Sabi Hussain di Trailofbits sfrutta invece le immagini e, in particolare, approfitta del modo in cui le immagini vengono gestite quando vengono elaborate dall’AI.
L’aspetto critico è legato al fatto che la maggior parte dei chatbot, nel momento in cui gli viene sottoposta un’immagine di grandi dimensioni, ne riducono la grandezza prima di inviarla ai server per l’elaborazione.
Si chiama in gergo downscaling ed è un semplice accorgimento dettato dall’esigenza di ridurre la quantità di dati che è necessario trasferire, ottenendo così migliori tempi di risposta. Ciò che hanno scoperto i ricercatori, è come sia possibile sfruttare questo processo per far apparire un testo nella versione “ridotta” dell’immagine e usarlo per dare istruzioni al chatbot.
È sempre una questione di algoritmo
Se il principio di base sembra piuttosto semplice, nella pratica le cose sono decisamente più complicate. La riduzione delle immagini, infatti, viene eseguita con tecniche differenti, ognuna delle quali si affida a un diverso algoritmo.
