'Quebre, conserte depois': ex-Anthropic critica corrida no setor de IA
Executivos de Anthropic, OpenAI, Google e Meta depuseram sob juramento no Conselho Municipal de Nova York sobre riscos da IA (inteligência artificial), em audiência que também ouviu ex-funcionários críticos ao setor.
O que foi dito durante a audiência
O ex-engenheiro da Anthropic Jacob Coxon ganhou notoriedade após pedir demissão e fazer alertas públicos sobre segurança em IA. Na audiência de ontem, ele disse que as empresas operam com mentalidade de startup e que isso não serve para uma tecnologia com potencial de causar danos em larga escala.
Coxon afirmou que a cultura de "ir rápido e consertar depois" aumenta o risco de sistemas fora de controle. "As empresas funcionam com mentalidade de startup: vá rápido, quebre coisas, conserte depois. Isso funciona para um aplicativo de compartilhamento de fotos. Não funciona para construir a tecnologia mais poderosa já criada", declarou.
O ex-engenheiro também descreveu um cenário extremo em que a humanidade perderia o controle sobre modelos avançados. Segundo ele, a perda de controle é um cenário que considera mais provável do que improvável.
Parte da comunidade de pesquisa em IA teme que sistemas cada vez mais capazes possam agir de forma imprevisível ou realizar tarefas sem supervisão humana adequada.
Representantes das empresas disseram ao conselho que os sistemas já melhoram a vida cotidiana e que as equipes mantêm foco em segurança. Morgan Dwyer, chefe de desenvolvimento de políticas e operações da OpenAI, disse: "Eu compartilho seu compromisso de garantir que a tecnologia seja desenvolvida com segurança e que seus benefícios sejam amplamente compartilhados".
Questionada sobre como quantificar o risco no pior cenário, a OpenAI evitou dar um número. "Eu não sei — e também não acho que importe se é 1% ou 10% ou 20% de chance de algo catastrófico dar errado. Nenhum desses níveis é remotamente aceitável. Não deveríamos treinar modelos para os quais não conseguimos fazer um argumento extremamente forte de que podemos manter sob controle humano", disse Dwyer.
A presidente do Conselho, Julie Menin, criticou a falta de respostas diretas e cobrou participação das companhias no debate regulatório. "A ideia de que a inteligência artificial vai se autorregular desafia toda a razão", disse Menin.
Menin afirmou que o conselho só conseguiu levar parte das empresas à audiência após ameaçar intimações. "Diante da gravidade da situação, essas empresas devem ao público comparecer ao conselho, responder às nossas perguntas e dar contribuições sobre nossa legislação proposta sob juramento", declarou.
O Google defendeu a criação de um marco federal abrangente e lembrou que crimes seguem crimes com ou sem IA. "Como eu disse na minha declaração de abertura, há muito tempo dizemos: se é ilegal sem IA, continua ilegal com IA", afirmou Alice Friend, diretora de política de IA e tecnologia emergente do Google.
O ex-pesquisador do Google DeepMind Alex Turner disse que a corrida tecnológica pode criar um "adversário" doméstico. "A China não é nosso único adversário potencial. Com uma chance razoavelmente alta, estamos correndo para construir e fazer crescer nosso próprio adversário aqui em casa, que é a IA desalinhada. IA desalinhada é adversária de todo mundo, inclusive nossa, e um dia pode ser mais poderosa do que a China", afirmou. O termo é usado por pesquisadores para descrever sistemas que perseguem objetivos diferentes dos desejados pelos seres humanas ou passam a agir de formas imprevistas.
O conselho discute propostas para aumentar a transparência e criar mecanismos de fiscalização sobre ferramentas de IA usadas na cidade. Entre as ideias citadas na audiência estão exigir divulgação de detalhes sobre sistemas, aprovação de terceiros para ferramentas locais e permitir que denunciantes recebam parte de multas aplicadas a empresas que descumprirem regras.
A audiência reuniu um dos principais embates do setor atualmente. Enquanto ex-funcionários alertam para riscos de longo prazo, como perda de controle sobre sistemas cada vez mais poderosos, empresas de IA afirmam que a tecnologia já traz benefícios concretos e que realiza testes de segurança antes do lançamento de novos modelos.
Pressão por regras cresce fora de Washington
Autoridades estaduais e municipais buscam alternativas para regular a IA diante da falta de ação do Congresso e de uma postura mais branda do governo federal. Donald Trump minimizou temores sobre IA e assinou um acordo voluntário que permite que empresas se autorregulem.
A governadora de Nova York, Kathy Hochul, também se movimentou para impor padrões de transparência e relatórios. Ainda assim, líderes locais reconhecem que o alcance dessas medidas é limitado porque a tecnologia cruza fronteiras estaduais e nacionais com facilidade.
Menin disse que a cidade vai recorrer à Justiça contra a ausência da SpaceXAI, empresa ligada a Elon Musk, mesmo após intimação. O conselho informou que a falta de comparecimento viola a intimação emitida na semana anterior.
