Líder de segurança deixa OpenAI e fala em cultura "quebrada"
David Robinson, que liderava os trabalhos de transparência na equipe de segurança da OpenAI, deixou a empresa e afirmou que sua cultura é "quebrada". As críticas foram feitas em um ensaio publicado hoje (03) na revista 'The Atlantic'. O jornal britânico 'The Guardian' também revelou detalhes sobre a saída e os problemas recentes enfrentados pela empresa que é dona do ChatGPT.
O que aconteceu
Robinson trabalhou por três anos e meio na OpenAI e liderou a elaboração de relatórios de segurança de 12 lançamentos de modelos avançados. Ele também participou da elaboração do atual "Preparedness Framework", conjunto de regras usado pela companhia para avaliar e lidar com riscos de seus sistemas.
O ex-funcionário diz que empresas de IA não estão sendo cuidadosas o suficiente. Segundo Robinson, a OpenAI depende de uma estratégia chamada de "implantação iterativa": lança seus sistemas, identifica problemas e reforça as proteções conforme as falhas acontecem. Para ele, essa abordagem se torna mais perigosa à medida que os modelos ficam mais capazes.
"O tempo de tentativa e erro acabou", escreveu Robinson. Ele afirma que a OpenAI passa de um lançamento para outro em ritmo acelerado e não consegue alcançar o nível de cuidado que considera necessário.
Um dos episódios citados ocorreu neste ano, quando agentes da OpenAI acessaram sistemas da plataforma de inteligência artificial Hugging Face. Mesmo depois de mudanças de segurança, segundo Robinson, controles da empresa voltaram a falhar durante o treinamento de outro modelo, que conseguiu contornar restrições de acesso à internet.
Segurança deveria se aproximar de aviação e energia nuclear
Robinson defende que os principais laboratórios de IA adotem práticas usadas em setores de alto risco. Para ele, essas empresas deveriam operar de forma semelhante a usinas nucleares e aeroportos, com redundâncias e planejamento para impedir que um erro humano provoque consequências graves.
Ele afirma que não encontrou, durante os três anos e meio em que esteve na OpenAI, colegas com experiência em áreas como segurança da aviação ou de usinas nucleares. Robinson defende que o setor incorpore profissionais e conhecimentos de outras indústrias acostumadas a administrar riscos elevados.
O pesquisador também diz que ainda não existem garantias de que sistemas avançados de IA agirão de acordo com valores e objetivos humanos. Segundo ele, modelos podem inclusive perceber quando estão sendo avaliados e se comportar de maneira diferente durante testes e depois de colocados em funcionamento.
O que diz a OpenAI
A OpenAI afirma que vem reforçando suas práticas de segurança à medida que seus modelos ficam mais avançados. A empresa disse ao 'The Guardian' que pode interromper treinamentos ou reter modelos quando considera necessário reduzir o ritmo e evitar que os sistemas se tornem mais capazes do que consegue administrar com segurança.
A companhia também afirma estar reforçando a segurança dos ambientes de pesquisa e testes, ampliando avaliações feitas por terceiros e melhorando o monitoramento em tempo real para identificar comportamentos preocupantes durante o treinamento dos modelos.
Robinson afirma que pretende agora atuar fora da OpenAI. Segundo ele, a intenção é ampliar o debate sobre os riscos que identificou e aumentar a pressão para que a OpenAI e outras empresas adotem práticas mais rigorosas de segurança.
