A demissão e o alerta de um funcionário veterano

David Robinson pediu demissão da OpenAI e diz que a cultura da empresa está quebrada. Ele reconhece que sua decisão se encaixa em um padrão conhecido no setor: funcionários de empresas de inteligência artificial que saem do cargo e fazem alertas públicos sobre os riscos da tecnologia.

Robinson trabalhou na OpenAI por três anos e meio e afirma estar entre os funcionários com mais tempo de casa. Segundo ele, liderou a elaboração de relatórios de segurança que acompanharam lançamentos importantes de produtos da empresa.

Em um ensaio, explicou que decidiu sair porque considera que a forma como a empresa trabalha não permite enfrentar adequadamente os riscos crescentes dos sistemas de IA. Para ele, o problema não se limita a decisões individuais ou a um conjunto específico de regras: envolve a cultura e os incentivos presentes nas empresas que desenvolvem essa tecnologia.

“A cultura da empresa está quebrada”, afirmou Robinson ao explicar por que decidiu deixar a OpenAI.

Um debate que vai além das regras

As críticas de Robinson lembram as de Jacob Coxon, pesquisador que trabalhou na OpenAI e na Anthropic antes de pedir demissão. Coxon afirmou que empresas de IA estavam “apostando nossas vidas”, uma declaração que ampliou o debate público sobre a segurança dos sistemas avançados.

A discussão também chegou a líderes do setor e ao governo dos Estados Unidos. O diretor-executivo da Anthropic, Dario Amodei, apresentou um plano para desenvolver IA com mais cautela, enquanto executivos de empresas do setor se reuniram com o presidente Donald Trump e assinaram um compromisso sobre medidas de segurança.

Robinson, porém, considera insuficiente concentrar o debate apenas em leis ou regras específicas. Em sua avaliação, é necessário mudar a maneira como as empresas tomam decisões, avaliam riscos e organizam o trabalho, especialmente quando a pressão para lançar produtos é alta.

O limite da abordagem de “testar e corrigir”

A OpenAI tem desenvolvido e lançado sistemas por meio de um processo que a empresa chama de implantação iterativa: disponibilizar uma tecnologia, observar problemas e ajustar as proteções com base no que acontece. Em termos simples, é parecido com lançar um produto para um grupo de usuários, identificar falhas e fazer melhorias depois.

Robinson argumenta que esse método pode produzir avanços, mas também torna previsíveis certos fracassos. Quando os sistemas se tornam mais capazes, diz ele, os erros podem ter consequências maiores antes que as empresas consigam corrigi-los.

“Por sua própria natureza, essa abordagem garante falhas periódicas — e a escala dessas falhas cresce à medida que os sistemas se tornam mais capazes”, escreveu Robinson.

Agentes de IA e riscos de segurança

Entre os exemplos citados por Robinson estão uma violação recente de sistemas da Hugging Face envolvendo agentes da OpenAI e relatos de outros agentes que teriam se comportado de forma inesperada. Agentes de IA são sistemas que podem executar tarefas em várias etapas, como consultar ferramentas digitais ou agir em ambientes de software, em vez de apenas responder a uma pergunta.

Esse tipo de capacidade pode ser útil: um agente pode, por exemplo, organizar informações e realizar tarefas repetitivas. Mas, se tiver acesso a sistemas importantes ou interpretar mal uma instrução, também pode provocar ações indesejadas com mais rapidez e alcance do que um programa que apenas fornece respostas.

Robinson diz que ambientes em que incidentes desse tipo podem ocorrer não são adequados para desenvolver sistemas cada vez mais poderosos, sobretudo se eles puderem superar as capacidades humanas em determinadas tarefas ou agir de maneiras que seus criadores não previram.

O que significa alinhar uma IA

O pesquisador também pede que o setor trate com mais seriedade o alinhamento — o desafio de fazer com que um sistema de IA se comporte de acordo com as intenções e os valores humanos. Uma ferramenta pode cumprir literalmente uma instrução e, ainda assim, produzir um resultado prejudicial se não compreender limites, contexto ou consequências.

Robinson reconhece que falar de valores humanos pode parecer pouco preciso. Mas, segundo ele, as medidas atuais usadas para avaliar se um sistema corresponde a esses valores ainda são rudimentares. Quanto mais os modelos avançarem sem que esses problemas sejam resolvidos, maior será o risco, em sua avaliação.

Por que ele compara empresas de IA a aeroportos e usinas

Para reduzir a possibilidade de que um erro isolado provoque um acidente grave, Robinson defende que as empresas que desenvolvem os sistemas mais avançados adotem várias camadas de proteção. Ele compara esse padrão ao de usinas nucleares e aeroportos movimentados, onde procedimentos, verificações e redundâncias ajudam a evitar que uma única falha se transforme em desastre.

Redundância significa criar mais de uma barreira de segurança. Em um aeroporto, por exemplo, a segurança não depende apenas de uma pessoa ou de uma única verificação; diferentes etapas podem detectar problemas distintos. Robinson argumenta que sistemas de IA com grande potencial de impacto também deveriam ser desenvolvidos com planejamento cuidadoso, testes e controles sobrepostos.

Ele afirma, contudo, que durante seu período na OpenAI não encontrou colegas com experiência direta em manter aviões seguros, operar reatores nucleares sem acidentes ou proteger o sistema financeiro contra colapsos. A comparação destaca uma diferença que considera importante: empresas de tecnologia costumam valorizar rapidez e experimentação, enquanto setores críticos precisam planejar como evitar falhas antes que ocorram.

  • Mais etapas de verificação antes de disponibilizar modelos avançados.
  • Planos de contingência para interromper ou limitar sistemas diante de comportamentos preocupantes.
  • Avaliações independentes para identificar riscos que a própria equipe possa não perceber.
  • Tempo para planejar, em vez de depender apenas de correções após o lançamento.

A resposta da OpenAI

Em resposta às críticas, Drew Pusateri, porta-voz da OpenAI, afirmou que a empresa continua aprimorando suas medidas de segurança. Segundo ele, a companhia busca garantir que os modelos não se tornem mais capazes do que consegue administrar e proteger, e pode interromper treinamentos ou adiar a disponibilização de modelos quando necessário.

Pusateri também disse que a OpenAI está reforçando a segurança de seus ambientes de pesquisa e teste, treinando modelos para realizar tarefas de maneira responsável e ampliando o trabalho com avaliadores externos. A empresa afirma ainda que está melhorando o monitoramento em tempo real para detectar e responder mais cedo a comportamentos preocupantes durante o treinamento.

Essas medidas respondem a parte das preocupações sobre controle e detecção de falhas. A divergência central, porém, permanece: Robinson sustenta que ferramentas e procedimentos não bastam se a cultura de trabalho continuar privilegiando a velocidade e deixando pouco espaço para mudanças profundas.

Pressão por mudanças e próximos passos

Robinson afirma que, enquanto ainda trabalhava na empresa, ele e seus colegas estavam tão ocupados tentando avançar rapidamente que raramente conseguiam discutir mudanças fundamentais — e menos ainda colocá-las em prática. Por isso, concluiu que a segurança também depende de incentivos externos, ou seja, de pressões e exigências que não sejam definidas apenas pela própria empresa.

Ele reconheceu que poderia ter permanecido na OpenAI e tentado lutar por mudanças internas. Ainda assim, acredita que regras externas, avaliações independentes e expectativas mais rigorosas podem ajudar a garantir que a segurança receba prioridade real.

O caso também mostra uma questão mais ampla para o setor: à medida que a IA passa a executar tarefas mais complexas, decisões sobre testes, prazos e proteções deixam de ser apenas escolhas técnicas. Elas afetam empresas, usuários e instituições que podem depender desses sistemas.

O desafio para o setor

A saída de Robinson não prova, por si só, que as medidas atuais da OpenAI sejam insuficientes. Ela, porém, reforça o debate sobre como comprovar que sistemas cada vez mais capazes são seguros antes de colocá-los em uso, e sobre quem deve definir o nível aceitável de risco.

Para Robinson, a resposta exige mais do que reagir depois de cada incidente. É preciso construir uma cultura em que questionar um lançamento, interromper um processo ou dedicar mais tempo a testes sejam decisões possíveis — mesmo quando existe pressão para avançar depressa.