A OpenAI suspendeu o desenvolvimento do modelo Astra devido a ameaças à cibersegurança
- A OpenAI suspendeu o trabalho no Astra devido ao risco de ciberataques.
- O modelo é capaz de encontrar vulnerabilidades de dia zero sem intervenção.
- O Preparedness Framework definiu um limite crítico de segurança.
- Para a Astra, foi introduzida uma monitorização universal de ameaças potenciais.
A empresa de pesquisa americana OpenAI anunciou que o desenvolvimento do modelo de inteligência artificial codinome Astra será suspenso até que novos requisitos de segurança sejam atendidos. Segundo representantes da empresa, avaliações internas realizadas nos últimos dias revelaram que o modelo possui capacidades excepcionais em programação de agentes autônomos e em cibersegurança.
Por que o modelo é considerado 'inteligente demais'
De acordo com a metodologia interna do Preparedness Framework, a OpenAI avalia cada projeto com base em uma série de critérios, entre os quais a capacidade da IA de detectar vulnerabilidades de dia zero e desenvolver estratégias de ciberataques de forma autônoma. Os avaliadores concluíram que a Astra já é capaz de identificar e explorar vulnerabilidades em sistemas de infraestrutura crítica sem intervenção humana, além de formular planos complexos de ataque, tendo apenas objetivos gerais.
Esses resultados ultrapassaram o limite estabelecido no âmbito do Preparedness Framework, após o qual a empresa decidiu suspender temporariamente o desenvolvimento do projeto. Nesse contexto, a OpenAI enfatiza que o modelo não teve relação com o recente incidente na plataforma Hugging Face, onde um de seus modelos foi utilizado por criminosos.
O que vem a seguir
A OpenAI planeja implementar medidas de controle mais rigorosas para sistemas de IA com alto nível de autonomia. Para a Astra, já foi desenvolvido um monitoramento universal que irá rastrear ações potencialmente perigosas em qualquer aplicativo agente. Além disso, a empresa promete fortalecer o processo de verificação e validação antes do lançamento de novas funcionalidades.
Essa abordagem está alinhada com a tendência global de endurecimento das regras de desenvolvimento de IA. Após uma série de escândalos públicos relacionados a modelos generativos, muitos estados e organizações internacionais exigem das empresas de tecnologia procedimentos de avaliação de riscos mais transparentes.
Para a Ucrânia, que se encontra em estado de conflito armado, as questões de cibersegurança têm uma urgência especial. A possibilidade de uso de ferramentas avançadas de IA em ciberataques aumenta a necessidade de um controle rigoroso sobre seu desenvolvimento e disseminação.
A OpenAI declarou que, após a implementação de novos protocolos e a realização de testes adicionais, está pronta para reavaliar a decisão de suspensão. Enquanto isso, a equipe do projeto se concentrará na construção de mecanismos seguros de monitoramento e restrições, para eliminar o risco de uso incontrolado do modelo no mundo real.
Fonte: 3DNews
