Código oculto e mais: como professores podem descobrir se alunos usaram IA

Um professor dos EUA usou uma técnica inusitada para descobrir se alunos usaram inteligência artificial para colar. Com um comando oculto em uma prova online, ele identificou que vários estudantes pediram para uma ferramenta de IA resolver a questão e não revisaram o que foi escrito. Afinal, como a inteligência artificial deve ser usada na educação e quais as formas de detectá-la?

Como professores podem descobrir o uso de IA

O professor americano usou uma técnica chamada prompt injection (injeção de prompt). sobre a Revolução Industrial. No comando, ele sugeria que a palavra Madagascar fosse incluída em algum lugar da resposta, de forma que não fizesse sentido. Alguns alunos, então, subiram o arquivo numa IA e pediram para ela responder. Com isso, o professor descobriu que 32 dos 35 alunos provavelmente tinham usado IA de forma indiscriminada, pois os textos continham o termo "Madagascar" sem qualquer ligação com o tema da prova.

A tática do professor americano é engenhosa, mas, no dia a dia, observações mais simples também são reveladoras. Luis Octávio Rogens, professor de texto do Colégio Presbiteriano Mackenzie, diz que analisa a "caligrafia intelectual" do aluno, isto é, padrões recorrentes da escrita, argumentação e vocabulário. Ele cita os seguintes exemplos:

1) Estruturas complexas de texto nem sempre são compatíveis com a faixa etária ou o nível de aprendizagem dos alunos. Por isso, elas podem indicar o uso de ferramentas de IA na criação de respostas.

2) A comparação com textos anteriores de um aluno pode revelar se a nova tarefa segue o mesmo estilo ou destoa bastante —o que pode ser um indício (mas nunca uma prova) de uso de IA.

Mas tem um desafio aí: algumas IAs se adaptam ao estilo da pessoa. "Em qualquer trabalho escrito, há uma grande dificuldade de detecção. Hoje em dia há IAs que você personaliza, e elas podem editar o texto com o seu estilo", diz Diogo Cortiz, colunista de Tilt e professor da PUC-SP.

Outra tática bem analógica, mas que funciona, é perguntar ao aluno sobre o que ele escreveu. "Em dois minutos de conversa, perguntando coisas como 'por que você escolheu este argumento?', o professor já consegue entender como o aluno chegou àquela resposta e se usou IA ou não", diz Rogens.

Já as ferramentas de detecção de inteligência artificial podem revelar indícios. Existem no mercado softwares que dizem se um texto foi ou não gerado por IA. O problema é que não dá para confiar de olhos fechados. "Esses sistemas não são 100% confiáveis, pois funcionam de forma probabilística. Eles podem servir para detectar um indício de uso de IA, mas não devem ser a única prova", explica Geane Alzamora, professora de Comunicação Social da UFMG (Universidade Federal de Minas Gerais) e membro da comissão permanente de IA da instituição.

Mas, afinal, precisamos mesmo barrar a IA na sala de aula?

A IA não é boa ou ruim em si; depende de como é usada. Para Rogens, do Colégio Mackenzie, a ferramenta precisa "ampliar o pensamento, não substituir o processo de aprendizagem". Ele diz que a tecnologia pode auxiliar no processo de aprendizagem. "Em vez de pedir para a IA escrever uma redação, o aluno poderia se aprofundar, pedindo a IA para citar objeções ao argumento usado em um texto", exemplifica.

A escola deve ajudar na criação de senso crítico dos alunos, para que eles entendam que a IA não é um "oráculo". Geane diz que em sala de aula pede para os alunos pesquisarem em IAs distintas um tema e discute em grupo a diferença entre elas e como o tema é abordado em textos da aula. "Nessa atividade, os alunos percebem que há respostas mais bem elaboradas durante a discussão. A conclusão é que a IA ajuda numa etapa exploratória, mas não como recurso metodológico final", explica a professora.

Análise de competências

Na era da IA, só o conhecimento não é o suficiente para avaliar. Segundo os especialistas, cada vez mais os professores consideram atividades baseadas em competências. Por exemplo: se a ideia é verificar se alguém sabe escrever, pede-se que o estudante escreva sobre um tema à mão em determinado tempo. Se for para verificar a compreensão de um assunto, uma opção é pedir para a pessoa explicar de forma resumida oralmente.

Uma forma de avaliar é trabalhar com projetos para os alunos —como ocorre na universidade onde Cortiz dá aula. "Não avaliamos só o resultado, mas o processo. Levamos em consideração o uso de IA, pois é uma ferramenta disponível para todos, porém avaliamos o desenvolvimento das ideias, a tomada de decisões e o repertório adquirido."

Diversas universidades têm adotado diretrizes de transparência para o uso de IA. De acordo com Geane, o aluno deve dizer obrigatoriamente se a tecnologia foi usada; em caso positivo, especificar qual ferramenta foi utilizada, a versão, a finalidade do uso, como foi o processo de revisão humana do material (o que foi feito com base na pesquisa exploratória obtida com a IA) e a indicação do processo (por exemplo, revisão gramatical ou verificação de normas de padronização). Na UFMG, a comissão formada sobre IA é um órgão consultivo da universidade que busca adotar procedimentos sobre bons e maus usos de inteligência artificial.