Discord assume falha de IA, mas diz que derrubou live antes de suicídio

A Discord admite que seu sistema de moderação com inteligência artificial falhou ao não identificar e derrubar a , mesmo com indicativos de risco reconhecidos pela empresa. No entanto, a companhia afirma que, após investigação interna, detectou evidências de que a live foi derrubada antes da morte da garota.

Os sinais de atividade de conta demonstram atividade na conta da vítima de suicídio pouco antes de o servidor ser objeto de medida às 4h15, o que é consistente com a vítima provavelmente ainda estar viva naquele momento. Com base nessas informações, a Discord entende que o evento final ocorreu após a Discord ter adotado a medida de remoção do servidor às 4h15
Discord

A informação está na resposta à ANPD (Agência Nacional de Proteção de Dados), dada nesta sexta (14) após a , incluindo multa de R$ 50 milhões ao banimento do Brasil, e já ter . O documento revela mais detalhes da visão que a companhia norte-americana diz ter do caso, algo que começou a ser conhecido em outro ofício, mandado dias antes ao Ministério da Justiça. A Discord pediu para os dois relatórios não serem disponibilizados ao público. Após ter acesso a eles, Radar Big Tech lista o que a companhia relatou às autoridades.

O Discord entrou na mira de uma operação conduzida pelas polícias de Mato Grosso do Sul, Rio de Janeiro, Minas Gerais, Pará e Ceará, além do Ciberlab, do MJ, após uma menina de 13 se suicidar em transmissão em vídeo feita na plataforma. Questionado pela pasta, a companhia disse o seguinte:

• A atividade no canal onde foi feita a transmissão começou às 2h20 de 22 de julho. Os sistemas automatizados de moderação não notaram nada de anormal, mas, às 3h45, o NOAD (Núcleo de Observação e Análise Digital) da Polícia Civil de São Paulo, enviou um alerta sobre o que acontecia na live;
• A empresa removeu o serviço onde ocorria a transmissão após 25 minutos, às 4h15;
• Há aqui duas implicações técnicas com interferência direta na situação:

1) A partir de março de 2026, as comunicações em áudio e vídeo dos canais passaram a ser criptografadas de ponta a ponta. Ou seja, são embaralhadas no dispositivo de quem as transmite e só desembaralhadas no aparelho de quem as recebe. Isso impede o Discord de ter acesso direto ao conteúdo das comunicações enquanto as lives ocorrem;

2) Desde 2025, o Discord se apoia em uma —um modelo de aprendizado de máquina, para os entendidos— para identificar servidores associados a comunidades de alto risco, restringir canais de voz e vídeo e interromper chamadas ativas enquanto equipes fazem revisões adicionais;

• Como o conteúdo das transmissões é criptografado, a IA não pode averiguá-lo. O sistema usa outros caminhos para fazer seu trabalho, já que é treinado para considerar sinais comportamentais, relações entre contas, padrões de rede, metadados, denúncias e histórico de medidas aplicadas. Ainda assim, falhou;

Durante o período relevante, o servidor continha nomes, rótulos de papéis e comunicações em texto que, após a revisão posterior ao incidente, foram identificados como indicadores associados a um ecossistema mais amplo de alto dano (...) esses sinais não acionaram, de forma isolada ou combinada, aplicação automatizada ou revisão humana imediata (...) Os registros internos da Discord mostram que o Servidor recebeu uma pontuação de risco de 0,12, ao passo que o limiar aplicável para identificação automatizada era de 0,95
Discord

• A Discord informou ser impossível recuperar áudios e vídeos transmitidos, mas que preservou informações cadastrais, registros de acesso à aplicação, endereços IP e portas lógicas de origem disponíveis, metadados, mensagens de texto;
• Já em resposta à ANPD, dada quatro dias depois, a empresa diz que "o ato final de suicídio não ocorreu na plataforma Discord". As evidências apresentadas são três: 1) dados associados a uma captura de tela fornecida pelo Ciberlab indicam que o evento ocorreu às 5h03, 48 minutos após a derrubada da live; 2) diferenças entre a interface exibida na imagem e as da Discord; 3) detecção de sinais de atividade na conta da vítima pouco antes de o servidor ser desplugado, o que, diz a Discord, "é consistente com a vítima provavelmente ainda estar viva naquele momento";
• Nos dois documentos, a empresa indica o uso de outros dois serviços digitais, Telegram e TikTok, pelo grupo investigado por induzir a garota ao suicídio; Segundo o jornal Folha de S.Paulo, ;
• Quantas pessoas assistiram? A Discord não sabe. Só informa que 51 contas passaram pelo servidor durante as duas horas da live, mas não tem informações sobre quantas delas ingressaram no canal;
• A maioria dessas contas, diz, foi criada minutos ou horas antes do incidente. Nenhuma delas fez verificação de idade e, por isso, receberam contas de adolescente (mais restritivas). Como não entraram em contato com conteúdo identificado como inadequado à idade, não precisaram completar o processo de aferição etária. "O canal de voz em questão era um canal padrão, e não um espaço com restrição etária", diz a Discord.

Nos dois relatórios, a Discord argumenta que relatar o que descobriu não é "reconhecimento de falha sistêmica, nexo causal ou responsabilidade jurídica". Falha sistêmica é o conceito-chave no novo regime de responsabilidade para plataformas digitais no Brasil, que aterrizou as decisões do no .

A plataforma não é punida por deixar no ar uma ou outra publicação indevida, mas, sim, se falhar sistemicamente em evitar a disseminação de conteúdos contendo atos antidemocráticos, terrorismo, racismo, indução ao suicídio, crimes sexuais contra crianças e violência contra a mulher.

É a ANPD a autoridade pública responsável por aplicar tanto ECA Digital quanto o novo Marco Civil da Internet. Talvez por isso e também pela densidade das perguntas, a Discord enviou à entidade um relatório de 45 páginas, vinte a mais que o documento destinado ao MJ. Também fez questão de juntar nele dados e argumentos para afastar a ideia de falha sistêmica, sobretudo a de sua IA.

"A Discord respeitosamente sustenta que esse resultado não equivale à ausência de capacidade proativa em relação a servidores dessa natureza", diz, acrescentando que sua IA geralmente mira servidores com até 24 horas de criação e removeu 880 deles em 2025 e outros 722 em 2026 até 7 de agosto.

Diferentemente de outras plataformas digitais, a Discord não informa em seus relatórios de transparência a extensão de sua moderação automatizada. Mas, dado o volume de trabalho, esses sistemas parecem ser imprescindíveis. De 2024 a junho de 2026, removeu 9,7 mil servidores e quase 260 mil contas no Brasil —são 283 por dia. Todas elas foram excluídas por estarem associadas a autolesão, exploração sexual infantil, violência extrema, sextorsão ou crueldade contra animais.

O que estamos vendo emergir em forma de investigação policial após uma morte lamentável é uma tragédia anunciada, já que as autoridades brasileiras estão no pé da Discord há tempos. Tanto é que, dentre todas as entidades de outros países, são elas as que mais solicitam informação sobre contas suspeitas à plataforma.

Procure ajuda

Se você estiver tendo pensamentos suicidas, procure ajuda especializada.

O CVV (Centro de Valorização da Vida) oferece apoio emocional e prevenção ao suicídio gratuitamente, 24 horas por dia, pelo telefone 188. Também há atendimento por chat, e-mail e presencialmente.

Outra opção é procurar um Caps (Centro de Atenção Psicossocial) na sua cidade.

Há ainda o Pode Falar, canal criado pelo Unicef para jovens de 13 a 24 anos, com atendimento anônimo e gratuito.

DEU TILT

Toda semana, e conversam sobre as tecnologias que movimentam os humanos por trás das máquinas. O programa é publicado às terças-feiras no e nas. Assista ao episódio da semana completo.

MAIS DE RADAR BIG TECH

Deu Tilt #1
'Kimi K3, nova IA chinesa, dá carteirada ao mundo', diz Diogo Cortiz

Deu Tilt #2
O que é a IAI?: Itaú adota IA pra cativar cliente e fazer Pix para ele

Deu Tilt #3
Com IA para robô, humanos pensarão duas vezes antes de bullying com máquina

Deu Tilt #4
Ataque rápido, perda de R$ 1.287 e vítima reincidente: o perfil do golpe

Carlos Affonso de Souza
Discord sem lives é como se padaria não pudesse vender mais pães

IAgora #1
Por que OpenAI copiou rival e pausou nova IA "perigosa demais" do ChatGPT

IAgora #2
IAs rebeldes criaram comunicação escondida da OpenAI para planejar ataque

IAgora #3
O que Mark Zuckerberg realmente quer com megamanifesto sobre futuro da IA

IAgora #4
Zuckerberg e Musk finalmente saem do Z4 da IA (e botam pressão nos líderes)

Estudo
IAs mudam de opinião para agradar visão política do usuário

Discord #1
Quem são os fundadores do Discord e porque app faz sucesso entre jovens

Discord #2
Discord: relembre o caso que levou ao pedido de suspensão de lives no país

Reportagem

Texto que relata acontecimentos, baseado em fatos e dados observados ou verificados diretamente pelo jornalista ou obtidos pelo acesso a fontes jornalísticas reconhecidas e confiáveis.