Pesquisador deixa Anthropic e alerta para riscos do avanço da IA

Especialistas defendem mais controle diante da velocidade de evolução dos sistemas.


Profissionais da área de tecnologia estão cada vez mais preocupados com a velocidade do avanço da inteligência artificial (IA) e seus possíveis impactos sobre a humanidade. A avaliação ganhou força após a saída de Jacob Coxon, pesquisador que trabalhou por três anos com o pré-treinamento de modelos na OpenAI e na Anthropic.

Em entrevista à BBC, Coxon, de 27 anos, afirmou acreditar que, se o ritmo atual de desenvolvimento continuar, existe uma possibilidade significativa de a humanidade enfrentar consequências graves em um futuro próximo. Ele anunciou a saída da Anthropic na última semana, em uma publicação que viralizou nas redes sociais.

Foto: BBC/Sunday com Laura Kuenssberg
Jacob Coxon

O ex-chefe de Coxon, Dario Amodei, diretor-executivo da Anthropic, também defendeu uma desaceleração no desenvolvimento de modelos de IA. Segundo ele, os riscos associados à tecnologia são sérios e empresas e governos precisam de tempo para criar mecanismos de controle e segurança.

A proposta recebeu apoio de Sam Altman, da OpenAI, e Elon Musk, da xAI, que defenderam medidas de regulamentação e monitoramento independente. Para Coxon, qualquer desaceleração precisaria envolver a China para evitar uma corrida internacional pelo desenvolvimento de sistemas cada vez mais avançados.

Um dos cenários discutidos pelos especialistas é a possibilidade de agentes de IA atuarem de forma coordenada e ganharem capacidade de interferir em grandes partes da internet. Coxon considera que esse tipo de situação poderia se tornar plausível dentro de seis meses a um ano.

A Anthropic afirmou que reconhece tanto os benefícios quanto os riscos da tecnologia e disse manter salvaguardas para reduzir possíveis problemas. A empresa também defendeu uma atuação conjunta do setor para estabelecer regras verificáveis sobre o ritmo de lançamento de novos modelos.

As avaliações, porém, estão longe de ser consensuais. O cientista Evan Hubinger afirmou considerar real o risco de a IA causar a extinção humana e estimou uma possibilidade superior a 10% na próxima década. Geoffrey Hinton, vencedor do Prêmio Nobel e uma das principais referências da área, disse que uma estimativa de 10% não seria absurda.

Por outro lado, Marc Warner, diretor da Faculty AI, afirmou ser extremamente difícil calcular uma probabilidade para um cenário de extinção. Já Clement Delangue, da Hugging Face, criticou o tom de parte dos alertas e pediu mais perspectiva na discussão.

O debate ocorre paralelamente à expansão dos investimentos no setor. Anthropic e OpenAI avaliam possíveis ofertas públicas de ações, enquanto executivos e pesquisadores discutem os limites de segurança para o avanço da tecnologia.

Apesar dos temores, Coxon afirmou que muitos profissionais da área continuam otimistas sobre o potencial da IA para combater doenças e melhorar a qualidade de vida. Para ele, o desafio é garantir que os benefícios da tecnologia avancem junto com medidas capazes de reduzir seus riscos.

Leia também