Tribunal do Paquistão conclui que a IA ajuda juízes a reduzir o acúmulo de processos quando o treinamento vem primeiro

O treinamento, e não apenas o acesso, determinou se a IA no tribunal entregaria resultados

Um grande experimento de campo randomizado no Judiciário do Paquistão sugere que a inteligência artificial pode aumentar a produtividade do setor público, mas apenas quando as instituições investem em treinar as pessoas para usá-la bem. O estudo, conduzido por pesquisadores da ETH Zurich, do Imperial College London e da New Economic School, testou um assistente de IA chamado JudgeGPT com 1.559 juízes em 118 tribunais, cerca de metade dos juízes de primeira instância do Paquistão.

O resultado principal não foi simplesmente que a IA ajudou. Foi que o acesso sozinho fez muito pouco. Juízes que receberam treinamento direcionado junto com acesso ao sistema o utilizaram com muito mais frequência e apresentaram ganhos mensuráveis na resolução de casos. Segundo o resumo do estudo fornecido no material de origem, distritos com exposição moderada a juízes treinados resolveram cerca de 1.848 casos adicionais por ano, o equivalente a um aumento de 6,3%.

Isso torna o experimento relevante além do Paquistão. Governos ao redor do mundo estão testando modelos de linguagem de grande porte para pesquisa jurídica, gestão de processos, redação de documentos e suporte administrativo. O que este estudo acrescenta é uma lição operacional mais clara: a estratégia de implantação importa tanto quanto o modelo em si.

Um sistema judiciário sob pressão ofereceu um teste exigente

O sistema judicial do Paquistão ofereceu um cenário em que até ganhos modestos de produtividade podiam fazer diferença. Os pesquisadores disseram que o país tem menos de dois juízes por 100.000 habitantes, em comparação com 22 na União Europeia e 30 na Inglaterra e no País de Gales. No fim de 2024, havia 2,26 milhões de casos pendentes, com 82% deles nos tribunais de primeira instância.

Esses números apontam para um sistema operando sob forte pressão, com equipe limitada e pouco apoio tecnológico. Antes do experimento, apenas cerca de um quarto dos juízes havia usado algum modelo de linguagem grande, como o ChatGPT. Isso importa porque significa que o estudo não estava testando IA entre usuários avançados ou em uma burocracia digitalmente madura. Estava testando se um assistente especializado poderia fazer diferença em um sistema judicial real, onde tempo, pessoal e familiaridade técnica eram todos limitados.

O JudgeGPT foi construído sobre o GPT-4 da OpenAI e adaptado para os tribunais de primeira instância paquistaneses por meio de geração aumentada por recuperação. Segundo o texto de origem, ele pesquisava um banco de dados com 129.235 documentos, incluindo 128.292 decisões judiciais e 943 leis paquistanesas. Para cada consulta, o sistema selecionava as 10 passagens mais relevantes e gerava uma resposta com citações.

Esse desenho é importante porque reduz o escopo da tarefa do modelo. Em vez de pedir a um modelo de uso geral que improvise análise jurídica a partir da memória, o sistema ancorou as respostas em um corpus definido de materiais jurídicos locais. Na prática, isso significa que a ferramenta funcionava menos como um juiz autônomo e mais como um apoio para pesquisa e redação.

Os maiores ganhos vieram da instrução estruturada

Os pesquisadores dividiram os juízes em três grupos. Um grupo recebeu acesso ao JudgeGPT junto com instrução direcionada, composta por seis aulas de 90 minutos ao longo de três semanas. Essas sessões focaram em quais tarefas se adequavam à ferramenta, onde estavam seus limites e como verificar seus resultados. Um segundo grupo recebeu acesso ao mesmo sistema de IA, mas apenas um seminário geral sobre tecnologia e direito. Um grupo de controle participou do seminário sem acesso ao JudgeGPT.

O contraste entre esses grupos é a principal descoberta. Juízes que receberam treinamento direcionado usaram o sistema cerca de quatro vezes mais do que aqueles que só participaram do seminário geral. Após 40 semanas, o grupo treinado teve em média quase 60 logins e mais de 200 prompts. O grupo de comparação teve cerca de 20 logins e menos de 50 prompts.

Essa diferença no uso se traduziu em resultados distintos no nível do sistema. Distritos com mais juízes treinados resolveram materialmente mais casos. Mesmo os distritos no quartil inferior de exposição encerraram cerca de 616 casos adicionais por ano, segundo os resultados relatados.

A implicação é direta. A adoção de IA em instituições não é apenas um problema de implantação de software. É um problema de fluxo de trabalho e de capacidade. Sem instrução prática, os usuários podem subutilizar o sistema, interpretar mal onde ele ajuda ou evitar depender dele para trabalhos significativos. Com treinamento, o mesmo modelo pode se tornar parte do suporte cotidiano à decisão.

A qualidade não pareceu piorar

Ganhos de produtividade nos tribunais valeriam pouco se viessem à custa da qualidade do julgamento ou da justiça. O texto de origem diz que a qualidade das decisões se manteve estável ou melhorou modestamente. As taxas de recurso por 1.000 casos resolvidos caíram ligeiramente, enquanto as horas de trabalho dos juízes e o equilíbrio entre vida profissional e pessoal não mudaram de forma material.

Essas conclusões não encerram todas as preocupações em torno da IA judicial, mas respondem a um medo comum: o de que uma produção mais rápida necessariamente signifique decisões mais descuidadas. Neste experimento, os ganhos relatados não vieram de jornadas mais longas nem de uma erosão evidente da qualidade. Em vez disso, parecem ter vindo de pesquisa e tratamento de casos mais eficientes.

Essa distinção importa para formuladores de políticas que consideram ferramentas semelhantes em tribunais sobrecarregados, agências ou defensorias públicas. Se a IA for usada para localizar precedentes relevantes, resumir registros e redigir materiais de apoio, ela pode reduzir gargalos sem transferir a responsabilidade jurídica final para fora dos juízes.

A economia torna o resultado difícil de ignorar

O estudo estimou uma economia de cerca de US$ 38,50 para cada dólar investido, com base no custo equivalente de contratar juízes adicionais para obter aumentos semelhantes na resolução de casos. Esse valor deve ser lido como uma estimativa, e não como um resultado orçamentário garantido, mas ajuda a explicar por que instituições públicas provavelmente continuarão testando sistemas parecidos.

Em muitos países, adicionar juízes, servidores ou pesquisadores jurídicos é caro e lento. Treinar juízes já em atividade para usar um assistente de IA desenhado de forma específica pode ser mais barato e rápido, especialmente quando os atrasos de processos são politicamente sensíveis e prejudiciais às instituições. Uma ferramenta que melhora a vazão sem alongar a jornada de trabalho ou piorar os recursos tende a chamar atenção muito além do Paquistão.

Ainda assim, o material de origem também aponta uma cautela que pode ser generalizada. A intervenção funcionou porque combinou acesso ao modelo, recuperação jurídica curada e instrução deliberada sobre limites e verificação. Retire esses componentes e o caso para ganhos de produtividade fica muito mais fraco.

Por que o estudo importa além do tribunal

A importância mais ampla do experimento não é que a IA possa substituir o julgamento jurídico. É que sistemas de IA bem delimitados podem melhorar o desempenho de instituições sobrecarregadas quando introduzidos com disciplina operacional suficiente. A lição se aplica aos tribunais, mas também a repartições de impostos, sistemas de benefícios, hospitais, escolas e reguladores: a adoção humana é uma variável central, não um detalhe posterior.

Muito do debate público sobre IA generativa ainda oscila entre hype e rejeição. Este estudo ocupa um lugar mais útil. Ele sugere que a tecnologia pode gerar ganhos reais em um ambiente público exigente, mas apenas sob condições que tornem esses ganhos plausíveis: recuperação específica de domínio, salvaguardas explícitas e treinamento que ensine os usuários tanto o que a ferramenta pode fazer quanto o que não deve ser confiado a ela sozinha.

Para governos que avaliam se a IA pertence a sistemas administrativos de alto risco, essa talvez seja a conclusão mais importante de todas. O retorno não veio de implantar um modelo e esperar transformação. Veio de tratar a IA como uma capacidade institucional que precisava ser ensinada, integrada e verificada.

Este artigo é baseado na cobertura do The Decoder. Leia o artigo original.