Estudo de dois anos descobre que proibir IA nas salas de aula deixa os alunos em desvantagem

Quando Thibault Schrepel projetou seu curso "Law of AI" na Vrije Universiteit Amsterdam, ele levou para a sala de aula uma suposição comum: que entregar aos alunos um chatbot de IA sem qualquer instrução provavelmente causaria mais mal do que bem. Dois anos de testes controlados o levaram à conclusão oposta. Nas suas próprias palavras, "eu estava errado".

O experimento que ele conduziu é notável menos pelo seu título do que pela sua estrutura. Em vez de pesquisar os alunos sobre suas atitudes em relação à IA, Schrepel os dividiu em grupos com regras diferentes e depois mediu o que eles realmente produziram. A mesma configuração foi executada duas vezes — primeiro em 2024, com 66 alunos, depois novamente em 2025, com 164 participantes — o que lhe permitiu observar não apenas se a IA ajudou, mas se a forma como ela foi introduzida importava ao longo do tempo.

Como funcionou o experimento de três grupos

Todos os participantes enfrentaram a mesma tarefa central: trabalhando em pequenas equipes de quatro ou cinco pessoas, eles tinham 20 minutos para melhorar uma disposição do EU AI Act. As submissões foram avaliadas por substância, clareza, proporcionalidade e inovação — critérios que recompensam o raciocínio jurídico genuíno em vez do polimento superficial. Todos os alunos também fizeram as mesmas avaliações: um exame de múltipla escolha e um exame para levar para casa que pedia que revisassem uma disposição separada do regulamento.

A única variável era como eles podiam trabalhar:

• Sem IA: Este grupo foi proibido de usar o ChatGPT completamente e teve que confiar na discussão e em seu próprio conhecimento jurídico.
• IA não orientada: Essas equipes receberam sugestões de revisão geradas pelo ChatGPT incorporadas diretamente no texto. Eles podiam continuar usando a ferramenta, mas ninguém explicou como fazer prompts ou como avaliar o que ela retornava.
• IA treinada: Este grupo recebeu instrução prática em engenharia de prompts jurídicos, juntamente com treinamento explícito para verificar a consistência e precisão da saída da IA.

O grupo sem IA atingiu uma parede chamada "exaustão de ideias"

Os alunos que trabalharam sem IA terminaram em último lugar nos dois anos do estudo. Suas edições eram superficiais: reformular frases para maior clareza, cortar redundância, ajustar o texto. Apenas um pequeno número de subgrupos tentou melhorias jurídicas substanciais na disposição. Mais impressionante foi o momento. Depois de cerca de dez a quinze minutos, muitas equipes ficaram sem coisas para tentar — um padrão que Schrepel rotula de "exaustão de ideias".

A proibição produziu um benefício que o pesquisador reconhece. Sem um chatbot para se apoiar, os alunos discutiram mais entre si, debatendo o texto por meio de discussão genuína. O trade-off, no entanto, foi um teto sobre até onde essa discussão poderia chegar dentro do limite de tempo.

Uso não orientado de IA: saída fluente, pouco escrutínio

Se o grupo sem IA sofreu com poucas ideias, o grupo não orientado sofreu com pouco ceticismo. Os alunos na condição intermediária aceitaram em grande parte o que o ChatGPT propôs, frequentemente justificando uma mudança com o argumento de que a versão da IA simplesmente "soava melhor". Em alguns casos, os participantes trocaram termos como "shall" e "individual" por alternativas sugeridas pela IA sem demonstrar qualquer compreensão das consequências jurídicas de fazê-lo — uma substituição que carrega peso real na redação legislativa.

Todos os subgrupos nessa condição mantiveram pelo menos um termo enganoso ou juridicamente estranho da saída do ChatGPT. O problema não foi que a ferramenta produziu texto inútil; é que o texto chegou polido o suficiente para desencorajar questionamentos.

Treinamento estruturado produziu diálogo real com a ferramenta

O terceiro grupo se comportou de maneira diferente. Esses alunos contestaram o modelo, testando frases alternativas e interrogando as questões jurídicas substantivas por trás da tarefa, em vez de aceitar o primeiro rascunho plausível. Suas pontuações refletiram isso: em 2024, o grupo treinado superou os outros dois por uma margem ampla, com a vantagem aparecendo mais claramente no exame para levar para casa, mais exigente.

A vantagem do treinamento quase desapareceu no segundo ano

Então o padrão mudou. Quando o experimento foi repetido em 2025, a lacuna quase fechou. Todos os três grupos atingiram aproximadamente o mesmo nível de desempenho, incluindo os alunos que não tinham acesso à IA.

A explicação de Schrepel é direta: familiaridade. À medida que os chatbots se tornaram parte normal da vida cotidiana, os alunos chegaram à sala de aula já sabendo como trabalhar com eles. A instrução formal ainda tinha valor, mas não conferia mais a mesma vantagem que tinha um ano antes, quando a ferramenta estava menos incorporada ao trabalho acadêmico rotineiro.

Essa descoberta complica qualquer leitura simples de política. Sugere que o benefício do treinamento é em parte uma função da habilidade de base — valioso quando uma ferramenta é nova, menos diferenciador quando ela se torna ambiente.

O que os educadores devem tirar dos resultados

Várias observações práticas emergem dos dois anos de execução:

• Remover a IA de um exercício com tempo limitado não aumentou a qualidade do trabalho dos alunos; neste curso, diminuiu.
• Permitir a IA sem instrução deixou os alunos vulneráveis a erros que soavam confiantes e que eles não tinham expertise para detectar.
• Ensinar os alunos a interrogar a saída da IA — verificar consistência, verificar precisão, fazer prompts deliberadamente — produziu resultados mensuravelmente melhores, pelo menos enquanto a habilidade era incomum.
• A lacuna de conhecimento em torno da alfabetização em IA está se estreitando por conta própria à medida que os alunos ganham experiência cotidiana com essas ferramentas.

A lição mais ampla é que a distinção significativa pode não ser IA versus sem IA, mas uso orientado versus não orientado. A vantagem do grupo treinado veio de tratar o chatbot como algo a ser desafiado em vez de obedecido, e esse hábito, não a ferramenta em si, parece ter impulsionado a melhoria nos resultados.

Vale manter o escopo do estudo em perspectiva. As descobertas vêm de um único curso, um único instrutor e uma disciplina, com tamanhos de coorte relativamente modestos. A redação jurídica também é um domínio onde a precisão importa de maneiras que podem não se mapear claramente em outras matérias.

Ainda assim, o arco de dois anos dá aos resultados um peso incomum. Schrepel começou esperando que a IA não orientada desse errado, e os dados se recusaram a cooperar com essa expectativa. Sua conclusão é uma correção útil para instituições que ponderam proibições totais: a proibição removeu uma fonte de ideias sem eliminar a necessidade de julgamento, enquanto a instrução sobre como usar a ferramenta de forma responsável entregou o maior ganho mensurável.

Este artigo é baseado em reportagem do The Decoder. Leia o artigo original.