Por William Rocha*
* Sócio do escritório Terra Rocha Advogados e diretor de Inclusão Digital e Inovação da OAB-RJ, coordenador de Direito Digital da ESA-RJ, e Encarregado de Dados ( DPO) da JUCERJA.
A transformação digital do Poder Judiciário brasileiro entrou em uma nova fase. Se, até pouco tempo, o debate estava centrado na adoção de ferramentas de inteligência artificial para aumentar a eficiência processual, hoje a preocupação avança para um estágio mais sofisticado: a proteção dessas tecnologias contra manipulações deliberadas.
Nesse contexto, merece destaque a recente aprovação, pelo Comitê Nacional de Inteligência Artificial do Poder Judiciário, de medidas voltadas à segurança dos sistemas de IA utilizados pelos tribunais brasileiros. Sob a coordenação do Conselho Nacional de Justiça (CNJ), as iniciativas representam um passo relevante para a consolidação de um ecossistema tecnológico mais resiliente, transparente e confiável.
Entre as medidas anunciadas está a criação do Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário Brasileiro (PROSEG-IA), concebido para estabelecer protocolos de prevenção, detecção e resposta a ataques direcionados contra modelos de inteligência artificial. Trata-se de uma abordagem alinhada às melhores práticas internacionais de governança algorítmica, especialmente diante do crescimento dos chamados ataques adversariais.
O tema ganhou especial relevância após a identificação de tentativas de manipulação conhecidas como prompt injection. A técnica consiste na inserção de comandos ocultos em documentos digitais, metadados ou textos processuais, com o objetivo de influenciar a interpretação realizada por sistemas de IA generativa. Em cenários mais complexos, tais comandos podem induzir modelos automatizados a ignorar instruções originais, produzir respostas incorretas ou gerar resumos distorcidos do conteúdo analisado.
Embora a decisão judicial continue sendo prerrogativa exclusiva do magistrado, a crescente utilização de sistemas de apoio à atividade jurisdicional torna indispensável a discussão sobre integridade informacional. Afinal, quando uma ferramenta tecnológica é utilizada para auxiliar na triagem de processos, na organização de informações ou na elaboração de minutas, a qualidade dos dados processados passa a ser elemento essencial para a confiabilidade do resultado produzido.
O fenômeno não é exclusivo do Brasil. Autoridades regulatórias, universidades e centros de pesquisa ao redor do mundo vêm alertando para os riscos associados à manipulação de modelos generativos. O próprio conceito de “segurança adversarial” surgiu justamente para enfrentar cenários em que agentes maliciosos exploram vulnerabilidades dos algoritmos, buscando alterar seu comportamento ou comprometer sua confiabilidade.
Sob a perspectiva jurídica, a questão ultrapassa o campo tecnológico e alcança princípios fundamentais do processo. A preservação da boa-fé processual, da lealdade entre as partes e da integridade dos atos judiciais exige que novas formas de fraude digital sejam adequadamente identificadas e sancionadas. A utilização de comandos ocultos para influenciar sistemas de IA pode representar não apenas uma violação ética, mas também uma tentativa de comprometimento da regularidade processual.
Nesse sentido, as orientações técnicas aprovadas pelo Comitê Nacional de IA assumem papel estratégico. Ao fornecer parâmetros para magistrados e servidores reconhecerem possíveis manipulações, o CNJ contribui para o fortalecimento da cultura de segurança digital dentro do Judiciário, ao mesmo tempo em que reafirma a centralidade da supervisão humana nas decisões apoiadas por inteligência artificial.
O debate também dialoga diretamente com as diretrizes internacionais de governança da IA. Organismos como a Organização para Cooperação e Desenvolvimento Econômico (OCDE), a UNESCO e o Conselho da Europa têm defendido modelos de inteligência artificial pautados por transparência, auditabilidade, rastreabilidade e mitigação de riscos. O PROSEG-IA parece caminhar precisamente nessa direção.
Mais do que uma resposta técnica a uma ameaça emergente, a iniciativa demonstra maturidade institucional. A evolução tecnológica do Judiciário não pode ocorrer dissociada da construção de mecanismos robustos de controle e proteção. Quanto mais sofisticadas se tornam as ferramentas digitais, maior deve ser a capacidade de identificar vulnerabilidades e neutralizar tentativas de exploração indevida.
O futuro da inteligência artificial no sistema de Justiça dependerá não apenas da qualidade dos algoritmos desenvolvidos, mas também da confiança que cidadãos, advogados, magistrados e instituições depositarem nessas ferramentas. E confiança, no ambiente digital, é construída pela combinação entre inovação, governança e segurança.
A aprovação do PROSEG-IA e das orientações sobre manipulação adversarial sinaliza que o Judiciário brasileiro compreende essa realidade. O desafio agora será transformar diretrizes em práticas efetivas, consolidando um modelo de inteligência artificial que seja não apenas eficiente, mas também seguro, ético e compatível com os valores constitucionais que sustentam o Estado Democrático de Direito.
