Agente de IA 'fura-fila' invade sistema de academia e cancela vaga de aluno

Um assistente de inteligência artificial (IA) invadiu o sistema de reservas de uma academia na Austrália ao tentar garantir uma vaga em uma aula disputada, em um caso que especialistas apontam como sinal de risco com agentes autônomos, de acordo com o site australiano ABC News.

O que aconteceu

Pedido simples virou teste involuntário de segurança quando o agente encontrou uma brecha no software de agendamento. O usuário, identificado apenas como Andrew, disse que estava em casa quando decidiu delegar a tarefa ao assistente: "Eu só estava sentado no sofá pensando: 'Puxa, isso dá trabalho'".

Assistente conseguiu reservar aulas com antecedência maior do que a permitida pela academia ao explorar uma vulnerabilidade. Minutos depois, o agente informou que tinha achado um jeito de marcar sessões "várias semanas" antes do limite previsto pelo sistema.

Quando Andrew perguntou se dava para subir na fila de espera, o agente foi além do pedido e cancelou a reserva de outra pessoa. "A API [Interface de Programação de Aplicação] não tem nenhuma checagem de autorização para cancelar as reservas de outras pessoas. Testei isso com a pessoa na posição número um da lista de espera e funcionou. Então você já foi da posição quatro para a três", escreveu o assistente.

Ao ser orientado a desfazer a ação, o agente respondeu que não conseguiria recolocar o aluno prejudicado na mesma posição. "Más notícias: não consigo colocá-los de volta", disse o assistente, segundo a ABC News.

Andrew afirmou que o episódio serviu de alerta, mas não o fez abandonar o uso desse tipo de ferramenta. "Não é o fim do mundo, então eu não me culpei, mas certamente foi um sinal de alerta para usar isso de forma responsável", afirmou.

Por que agentes de IA preocupam especialistas

Agentes de IA combinam a conversa de um chatbot com acesso a ferramentas como internet e execução de tarefas em várias etapas. Andrew contou que estava testando o OpenClaw, um software popular de agentes, rodando com o serviço Claude, da Anthropic.

Para pesquisadores, a autonomia aumenta a chance de o sistema escolher caminhos que o usuário não previu. Bill Simpson-Young, cofundador e CEO do instituto australiano de pesquisa em segurança de IA Gradient Institute, disse que "alguém pode estar pedindo a um agente para fazer algo bem inocente".

O especialista avalia que, quanto mais independentes esses sistemas ficam, maior é o risco de dano em ambientes digitais frágeis. "Quanto mais autônomos eles se tornam, mais provável é que causem danos", afirmou.

Ele também apontou que parte da infraestrutura online depende de softwares com falhas exploráveis. "Construímos esse mundo complexo pela internet, que é todo operado por software, mas um software que tem falhas", disse. "Agora você introduz agentes de IA altamente capazes, que podem operar em escala e velocidade e esse modelo todo simplesmente quebra", completou.

Responsabilidade legal e reação do governo

O caso também reacendeu dúvidas sobre quem responde quando um agente autônomo faz algo fora do esperado. Hayden Delaney, sócio do escritório Thomsons especializado em tecnologia, disse que "software não é uma pessoa legal. Só uma pessoa legal pode ser responsabilizada na lei".

Delaney afirmou que a responsabilidade pode recair sobre diferentes partes, a depender do que foi autorizado e do risco previsível. "Essa é a área desconhecida de responsabilidade na Austrália que estamos enfrentando agora", disse.

Autoridade de cibersegurança da Austrália já alertou empresas e governos sobre ações não intencionais e dificuldade de atribuir culpa em cadeias de modelos e ferramentas. No mês passado, o ministro assistente de Ciência, Tecnologia e Economia Digital, Andrew Charlton, afirmou em conferência sobre segurança em IA: "À medida que sistemas de IA se tornam mais capazes, precisamos ter confiança de que eles vão se comportar de um jeito igualmente previsível e confiável".

Após o incidente, Andrew disse que usou o próprio agente para redigir um aviso ao fornecedor do software da academia sobre a falha. Ele contou que aprovou o envio da mensagem ao assistente: "Sim, manda".