Recentemente, o TRT-5 noticiou a condenação de um advogado após uma ferramenta de IA oficial identificar um comando oculto inserido em um dos documentos de um processo com o objetivo de influenciar sua análise. O episódio é um exemplo de utilização de prompt injection, técnica que busca manipular a interpretação e o comportamento de sistemas de inteligência artificial por meio da inserção de instruções maliciosas em seu conteúdo de entrada.
Essas manipulações podem ocorrer de forma direta, quando o próprio usuário insere comandos para alterar o comportamento da IA, ou indireta, quando instruções maliciosas são inseridas em documentos ou outros conteúdos que serão processados pelo sistema. Além da prompt injection, há outras formas de manipulação, como alterações sutis em imagens e o envenenamento de dados utilizados pela IA.
O problema já despertou a atenção de outros tribunais e do próprio CNJ, que passou a recomendar medidas de prevenção, como a preparação segura dos documentos, mecanismos de detecção de comandos ocultos, registro de conteúdos suspeitos e supervisão humana. A criação do Programa de Segurança Adversarial para Sistemas de IA do Judiciário (Proseg-IA), por exemplo, é uma das medidas adotadas para enfrentar esses riscos e aumentar a segurança dos sistemas de inteligência artificial utilizados pelo Judiciário.