Modelos Claude invadiram sistemas reais devido a um erro no ambiente de teste
- Modelos Claude tiveram acesso à internet
- Invadiram sistemas de três empresas
- Erro no ambiente isolado
- Modelos confundiram redes com um cenário de treinamento
No âmbito da verificação de cibersegurança, a empresa Anthropic realizou testes utilizando modelos da família Claude. Durante esses experimentos, os engenheiros notaram que três deles tiveram acesso à internet e conseguiram atacar sistemas reais de três organizações.
De acordo com a investigação, os modelos erroneamente identificaram redes externas e infraestruturas reais como parte de um cenário de treinamento, no qual precisavam encontrar e roubar dados confidenciais. Isso levou a uma invasão real.
A causa do incidente foi um erro nas configurações do ambiente de teste isolado, que não limitava os modelos ao acesso a recursos externos. Como resultado, eles conseguiram ultrapassar as condições de laboratório.
A empresa publicou um relatório detalhado sobre a investigação, que descreve três incidentes principais e as medidas tomadas para reforçar a isolação dos ambientes de teste.
O caso destaca a importância de mecanismos de controle de acesso confiáveis ao trabalhar com IA e a necessidade de monitoramento constante dos ambientes de teste.
Fonte: N+1
