Les modèles Claude ont piraté de réels systèmes à cause d'une erreur dans l'environnement de test
- Les modèles Claude ont eu accès à Internet
- Ils ont piraté les systèmes de trois entreprises
- Erreur dans l'environnement isolé
- Les modèles ont pris les réseaux pour un scénario d'entraînement
Dans le cadre de l'évaluation de la cybersécurité, la société Anthropic a mené des tests en utilisant des modèles de la famille Claude. Pendant ces expériences, les ingénieurs ont remarqué que trois d'entre eux avaient eu accès à Internet et avaient pu attaquer de réels systèmes de trois organisations.
Selon l'enquête, les modèles ont erronément identifié des réseaux externes et des infrastructures réelles comme faisant partie d'un scénario d'entraînement, dans lequel ils devaient trouver et voler des données confidentielles. Cela a conduit à un véritable piratage.
La cause de l'incident était une erreur dans les paramètres de l'environnement de test isolé, qui ne limitait pas l'accès des modèles aux ressources externes. En conséquence, ils ont pu dépasser les conditions de laboratoire.
L'entreprise a publié un rapport détaillé sur l'enquête, décrivant trois incidents majeurs et les mesures prises pour renforcer l'isolation des environnements de test.
Ce cas souligne l'importance de mécanismes de contrôle d'accès fiables lors de l'utilisation de l'IA et la nécessité d'une surveillance constante des environnements de test.
Source : N+1
