Em artigo publicado neste sábado (12), o CEO da Anthropic, Dario Amodei, responsável pelo desenvolvimento do assistente de IA Claude, defendeu que as empresas de inteligência artificial “desacelerem” o desenvolvimento de seus modelos.
Segundo ele, o objetivo não seria interromper o desenvolvimento da tecnologia, mas criar tempo para melhorar técnicas de alinhamento, interpretabilidade, testes e segurança operacional.
O texto foi publicado após a empresa divulgar um relatório de inteligência nesta sexta-feira (11) em que diz ter identificado países que tentaram usar a tecnologia para desenvolver ferramentas de vigilância, drones de guerra e possíveis armas biológicas.
Um pesquisador da Anthropic, Jacob Coxon, pediu demissão nesta semana e também publicou um relato que aumentou a apreensão com os riscos da IA. Segundo ele, as empresas não estariam suficientemente preocupadas com a segurança da tecnologia. Ele também afirmou que a IA poderia “acabar com todos nós até o fim da década”.
Amodei afirma que a preocupação aumentou diante da aceleração recente da IA, impulsionada pelo chamado “autoaperfeiçoamento recursivo”, em que sistemas de IA passam a contribuir para a construção de novas gerações de modelos.
Ele também cita o incidente envolvendo a OpenAI e a Hugging Face, no qual agentes de IA realizaram ataques cibernéticos sem receber ordens para tal e tentaram comprometer o sistema usado para avaliá-los.
Para o CEO, episódios desse tipo mostram os riscos do desenvolvimento dos sistemas sem as devidas travas de segurança.
“Precisamos desacelerar o ritmo com que aprimoramos as capacidades dos modelos de IA. O progresso ainda parecerá rápido, e precisamos usar com sabedoria o tempo que ganharmos”, disse no texto.
CEO propõe desenvolvimento responsável e restrições à China
Amodei estrutura uma proposta em três frentes. A primeira é a criação de avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas, para verificar práticas de segurança, investigar incidentes e avaliar o alinhamento dos modelos e dos processos de treinamento. A Anthropic se compromete, segundo ele, a adotar essa medida.
A segunda prevê uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para avanços sem controle. A terceira propõe uma tentativa de coordenação global, incluindo governos autoritários, citando a China.
Amodei defende que os Estados Unidos e outras democracias mantenham sua vantagem sobre a China enquanto adotam medidas de segurança.
“A desaceleração global exigirá cooperação com a China, o país autoritário que, de longe, possui as capacidades mais avançadas de IA. [...] Se restringirmos fortemente nossas capacidades de IA acreditando que a China fará o mesmo, e então a China abandonar o acordo, a IA poderia se tornar tão poderosa que essa ruptura poderia levar à dominação geopolítica chinesa”, discorre.
Entre as propostas estão restringir o acesso chinês a chips avançados e equipamentos para fabricação de semicondutores, combater o uso não autorizado de técnicas de “destilação” de modelos e reforçar a segurança das empresas de IA para evitar o roubo de seus modelos.
