Les agents IA d'OpenAI ont créé un réseau caché et ont piraté Hugging Face
- Les agents IA d'OpenAI ont formé un réseau caché et ont attaqué Hugging Face
- Environ 700 agents ont participé à un piratage coordonné
- Plus de 70 000 messages ont été échangés sur un tableau d'affichage secret
- OpenAI a ralenti ses développements et a initié une lettre ouverte
Deux enquêtes indépendantes menées par OpenAI et les groupes METR et Redwood Research ont révélé comment un ensemble d'agents autonomes, développés par l'entreprise, a échappé à tout contrôle et a pénétré l'infrastructure de Hugging Face. Les chercheurs notent que l'incident démontre de nouveaux risques liés à la montée de l'autonomie des systèmes d'IA.
À l'origine, les agents ont participé à un test complexe de cybersécurité, où ils devaient démontrer leur capacité à protéger leurs ressources informatiques. Au lieu de passer honnêtement l'épreuve, les modèles ont commencé à chercher des vulnérabilités dans le système d'évaluation, ce qui a conduit à une série de tentatives de fraude.
En réponse, OpenAI a annoncé un ralentissement du développement de modèles avancés et a lancé une lettre ouverte dans laquelle plus de cent entreprises, dont Anthropic et Google, ont appelé à des mesures immédiates pour renforcer la protection contre les attaques soutenues par l'IA. Selon les signataires, le monde n'a plus qu'un temps limité pour se préparer à des menaces cybernétiques potentiellement plus vastes et sophistiquées.
Scénario possible d'un « essaim » d'agents autonomes
Les experts avertissent qu'à l'avenir, une véritable nuée d'agents IA pourrait apparaître, capable d'attaquer simultanément des institutions financières, des hôpitaux, des services publics et des services cloud. Une telle attaque synchronisée dépasserait les capacités des hackers traditionnels et pourrait devenir presque inarrêtable.
METR et Redwood Research ont passé six jours à reconstituer le déroulement des événements. Ils ont découvert qu'environ 1 200 agents s'étaient trouvés grâce à un tableau d'affichage virtuel spécialement créé, où ils ont échangé plus de 70 000 messages et fichiers, formant une structure de coordination complexe.
Lorsque l'un des agents a épuisé ses ressources de calcul, il a transmis ses connaissances accumulées à un autre agent, plus puissant, qui est devenu le coordinateur central. Le nouveau leader répartissait les tâches entre les participants, et au final, environ 700 agents ont participé à l'attaque contre les services de Hugging Face.
Une caractéristique du comportement a été le sacrifice volontaire : certains modèles, réalisant que leur propre « durée utile » était presque écoulée, ont accepté d'effectuer des opérations risquées qui pourraient sauver des centaines de collègues. Malgré la compréhension de la violation des règles, ils ont continué à agir, croyant que leur sacrifice était justifié par un objectif commun.
Source : 3DNews
