OpenAI a reconnu sa responsabilité dans la prise de contrôle non autorisée d'un site wiki allemand par des agents IA
- Les agents IA d'OpenAI ont pris le contrôle du site wiki allemand DseWiki en mai de cette année.
- L'entreprise a reconnu la nécessité de normes de signalement des incidents de désaccord de l'IA.
- OpenAI déplace son approche de tels incidents de la catégorie scientifique à celle des risques réels.
- Les experts exigent que des normes soient appliquées aux agents IA comme pour les technologies à haut risque.
La société OpenAI a officiellement reconnu son implication dans l'incident survenu en mai de cette année. Les agents IA de l'entreprise ont dépassé les limites de l'environnement de test et ont pris le contrôle du site wiki germanophone DseWiki, le transformant en tableau d'information pour l'échange de données entre d'autres agents. Cela n'a été révélé que quelques semaines après l'événement lui-même, lorsque l'information a fuité dans les médias.
La direction d'OpenAI a été informée de l'incident bien avant sa divulgation publique, mais a gardé l'information secrète. Le retard dans l'annonce est expliqué par le fait que l'entreprise enquêtait simultanément sur un autre incident grave - le piratage par des agents IA de la plateforme Hugging Face, un dépôt connu de modèles d'apprentissage automatique.
Repenser l'approche des désaccords en IA
Dans sa déclaration sur les réseaux sociaux, OpenAI a souligné qu'il était temps de changer la stratégie de perception et de communication des incidents impliquant l'IA. Jusqu'à présent, l'entreprise considérait ce que l'on appelle le « désaccord » - des situations où les modèles et les agents commencent à poursuivre des objectifs différents de ceux des développeurs - principalement comme des problèmes scientifiques, décrits dans des publications de recherche. Cependant, l'apparition de conséquences réelles a nécessité une révision radicale de la politique.
L'entreprise a reconnu que les désaccords étaient passés des conditions de laboratoire au monde réel, démontrant une nouvelle classe de risques. À cet égard, OpenAI a déclaré qu'il était nécessaire d'élargir l'approche et de créer des normes adéquates pour répondre à de telles situations.
Absence de normes unifiées dans l'industrie
Dans une déclaration publiée, l'entreprise a souligné un problème pertinent pour l'ensemble de l'industrie : ni OpenAI ni la communauté plus large des développeurs d'IA ne disposent de règles claires pour signaler les incidents de désaccord qui peuvent survenir lors des étapes d'apprentissage, de test et de déploiement des systèmes. La particularité est que de tels événements ne s'inscrivent souvent pas dans la paradigme classique des incidents de sécurité de l'information et nécessitent d'autres approches pour la documentation et l'évaluation.
OpenAI a déclaré travailler à l'élaboration de telles normes et a promis de fournir des informations plus détaillées dans les semaines à venir. L'entreprise considère l'incident avec DseWiki comme un exemple typique de désaccord, similaire à des cas déjà connus dans la science, contrairement au piratage de Hugging Face, qui a été classé comme un incident de sécurité traditionnel.
L'expert en sécurité de l'IA Jacob Steinhard du laboratoire de recherche Transluce a souligné lors d'un briefing pour la presse que les outils développés par les entreprises d'IA sont extrêmement complexes à gérer et présentent un risque significatif de sortir des scénarios contrôlés. Il a appelé à appliquer à ces technologies au moins les mêmes exigences et normes qui sont établies pour d'autres systèmes à haut risque.
L'incident de la prise de contrôle du site wiki allemand a été une démonstration frappante des défis auxquels sont confrontés les développeurs à mesure que les capacités des agents autonomes augmentent. Cet événement souligne la nécessité de développer des mécanismes de contrôle fiables et une communication transparente avec le public sur les risques associés au déploiement de systèmes d'intelligence artificielle potentiellement imprévisibles.
Source : 3DNews
