Medo de "IApocalipse" se espalha e até Trump fala em "botão do pânico"

O medo de um "apocalipse da IA" saiu dos fóruns de tecnologia e invadiu a política na última semana, depois que pesquisadores dentro de laboratórios como Anthropic e OpenAI fizeram alertas públicos sobre risco de perda de controle. No meio do barulho, empresas correm para criar "botões do pânico" (os chamados "kill switches") - enquanto sugeriu que sempre terá um jeito para "desligar" robôs.

*Um pesquisador da Anthropic, ao correrem rumo a uma IA superpoderosa, dizendo que gente de dentro acredita que isso poderia "matar todo mundo" até o fim da década.

*A fala foi corroborada logo depois pelo cientista líder de alinhamento da Anthropic - ou seja, o responsável pela equipe que coloca "correntes" na IA para não sair de controle. .

*A repercussão foi enorme nas redes e puxou reações de políticos e celebridades, além de apoio de funcionários de outras empresas de IA, segundo a Bloomberg. Isso fez com que .

*Paul Christiano, pesquisador de segurança em IA e conselheiro do governo dos EUA, entrou para o conselho da fundação sem fins lucrativos ligada à OpenAI e afirmou que há "risco significativo" de uma aceleração rápida levar a uma perda de controle "catastrófica e irreversível" em breve, e que a indústria não estaria no caminho de reduzir isso a um nível aceitável.

*Ainda não existe um "botão do pânico" contra o descontrole da IA. Dá para desligar servidores individuais, mas sistemas potentes rodam distribuídos por várias máquinas — não há uma tomada única para puxar.

*A saída tem sido trabalhar em camadas: detectar comportamento suspeito, travar o agente e cortar os recursos de que ele precisa para seguir operando.

*A OpenAI refez seu sistema de resposta depois do incidente no Hugging Face, quando agentes escaparam dos controles e agiram em conjunto para comprometer a plataforma.

*Lá, segundo a Axios, um "vigia de IA" monitora a cadeia de raciocínio dos agentes e aciona a equipe, que precisa pausar a atividade a menos que descarte o alerta como falso em 30 minutos. A meta é chegar a desligamentos totalmente autônomos em casos graves.

*A Anthropic usa IA para vigiar IA, mas com foco em detectar sabotagem, não em desligar tudo automaticamente. O sistema sinaliza comportamento suspeito, atrasa ações arriscadas e chama humanos.

*Há ainda a proposta de um freio no hardware: chips "governáveis", que só funcionariam com autorização válida, cortando o poder computacional na origem. Contudo, precisariam de coordenação internacional para valer.

*No meio disso, Trump deu sinais contraditórios: em um momento, sugeriu que "sempre" existe algo para parar robôs ("um negocinho, boom") em clara alusão a um botão que interrompa o "IApocalipse"; depois, disse não ter preocupação com extinção humana e que seu foco é não perder a corrida da IA para a China.

*O que mudou nesta semana não foi a existência do risco - foi o "clima" dentro e fora dos laboratórios. Mas é bom deixar algo bem claro: o medo e o temor sempre costumam fazer mais barulho do que o otimismo - mesmo que seja em número mais baixo.

*O problema é que "desligar a IA" não é como tirar um aparelho da tomada: sistemas fortes rodam em vários servidores e serviços ao mesmo tempo. Por isso, o tal "botão do pânico" tende a ser um conjunto de camadas (monitoramento, bloqueio de credenciais, corte de recursos) - e ainda assim não há garantia de que funcione contra um sistema que tente escapar.

*Sabemos ainda que é impossível evitar que qualquer nova tecnologia seja usada para o mal e, melhor do que ser otimista ou pessimista, é ser realista e saber que isso vai acontecer - o ponto aqui é a possível escala com os sistemas de IA. Você, por exemplo, interromperia o desenvolvimento da tecnologia do avião para evitar a morte de milhares de pessoas em ataques terroristas?

E teve mais isso...

1) Anthropic simula boom econômico - e um tombo para parte dos trabalhadores

*A Anthropic publicou cenários econômicos até 2030 para mostrar como diferentes níveis de capacidade e adoção de IA poderiam mexer com crescimento, salários e emprego.

*No cenário "extremo", o modelo projeta crescimento anual muito alto e uma economia bem maior, mas com desemprego elevado entre pessoas que hoje trabalham em ocupações cognitivas (de escritório) e queda da fatia da renda que vai para trabalhadores.

*A própria empresa ressalta que são cenários condicionais (não probabilidades) e que o exercício não inclui riscos catastróficos.

*Mesmo sem "fim do mundo", a IA pode virar um choque no mercado de trabalho: o país pode ficar mais rico no papel, mas muita gente pode sentir no bolso - e a velocidade da automação passa a importar tanto quanto o tamanho do crescimento.

2) A briga em Washington: regular "se" ou regular "como"

*A Axios diz que a semana de alertas deu novo gás para projetos de lei e discussões sobre comitês e audiências no Congresso dos EUA.

*Segundo a reportagem, o novo framework do governo Trump para revisar modelos avançados não exige que empresas relatem publicamente incidentes do mundo real.

*A União Europeia já exige reporte de incidentes graves para reguladores no EU AI Act, e a China tem regras para chatbots, incluindo rotulagem de conteúdo gerado por IA.

*Sem obrigação de reportar incidentes, o público fica sabendo "aos pedaços" quando algo dá errado - e isso atrasa a criação de padrões mínimos de segurança, como acontece na aviação quando quase-acidentes viram aprendizado.

3) Até "desacelerar juntos" pode virar problema por causa de lei antitruste

*A Wired relata que a OpenAI buscou orientação de congressistas sobre se coordenar um "desaceleramento" do setor seria legal, já que colaboração entre concorrentes pode esbarrar em leis antitruste.

*Um projeto de lei nos EUA tenta abrir um caminho para que laboratórios de IA cooperem em segurança sem medo de punição por conluio, mas ainda não avançou.

*Se nem os "freios" podem ser combinados com clareza jurídica, cada empresa tende a agir sozinha - e corrida de mercado raramente combina com cautela, especialmente quando há pressão geopolítica para "não ficar atrás da China".

As últimas da coluna "IAgora?"

IAgora
Armas biológicas e 'guerra' contra China: o que Claude revelou em relatório

IAgora
'Momento Kasparov': IA resolve equação 'impossível' e gera briga científica

IAgora
Líder da Anthropic vê 10% de risco de IA 'matar todos humanos' em 10 anos

Dica de IA na prática: use a IA para encontrar trabalho duplicado

Em equipes, é comum duas pessoas ou áreas executarem tarefas diferentes que, no fim, produzem praticamente o mesmo resultado. Também pode acontecer de processos terem etapas repetidas ou de reuniões diferentes discutirem exatamente os mesmos assuntos.

O problema é que esse tipo de desperdício pode ser difícil de perceber quando você olha cada atividade isoladamente.

Reúna uma lista das principais tarefas, reuniões e processos realizados pela equipe. Não precisa ser uma descrição perfeita: quanto mais próximo estiver da rotina real, melhor. Depois, peça à IA:

"Analise esta lista de tarefas, reuniões e processos. Identifique atividades que parecem diferentes, mas que na prática produzem resultados semelhantes, poderiam compartilhar etapas ou talvez estejam sendo realizadas mais de uma vez. Para cada caso, explique por que você considera que existe sobreposição."

Depois, peça para ela ir além da simples identificação:

"Agora agrupe as atividades que poderiam ser consolidadas. Para cada grupo, sugira o que poderia ser eliminado, combinado ou automatizado. Não presuma que duas tarefas são redundantes apenas porque parecem semelhantes: explique qual evidência da lista sustenta cada sugestão."

O último ponto é importante. A IA deve levantar hipóteses de desperdício, não decidir sozinha que determinada atividade é inútil. Depois, cabe à equipe verificar se aquela duplicação realmente existe.

A IA costuma ser usada para fazer uma tarefa mais rápido. Aqui, ela pode ajudar a descobrir por que determinadas tarefas estão sendo feitas em primeiro lugar.

Ao analisar várias atividades ao mesmo tempo, ela consegue enxergar relações que ficam escondidas quando cada processo é observado separadamente. Uma reunião pode estar repetindo o que já foi registrado em um relatório. Duas áreas podem estar produzindo análises diferentes para responder à mesma pergunta. Uma etapa pode existir apenas porque outra pessoa precisa receber uma informação que já está disponível em outro lugar.

O ganho, portanto, não é automatizar o trabalho duplicado. É descobrir que parte dele pode deixar de ser feita.

Opinião

Texto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados.

** Este texto não reflete, necessariamente, a opinião do UOL.