OpenAI a suspendu le développement du modèle Astra en raison de menaces à la cybersécurité

La société de recherche américaine OpenAI a annoncé que le développement du modèle d'intelligence artificielle codé sous le nom d'Astra sera suspendu jusqu'à ce que de nouvelles exigences de sécurité soient satisfaites. Selon des représentants de l'entreprise, des évaluations internes menées ces derniers jours ont révélé que le modèle possède des capacités exceptionnelles en programmation d'agents autonomes et en cybersécurité.

Pourquoi le modèle est-il considéré comme « trop intelligent »

Selon la méthodologie interne du cadre de préparation, OpenAI évalue chaque projet selon plusieurs critères, parmi lesquels la capacité de l'IA à détecter des vulnérabilités de jour zéro et à développer de manière autonome des stratégies de cyberattaques. Les évaluateurs ont conclu qu'Astra est déjà capable d'identifier et d'exploiter des vulnérabilités dans des systèmes d'infrastructure critiques sans intervention humaine, ainsi que de formuler des plans d'attaque complexes en ayant seulement des objectifs généraux.

Ces résultats ont dépassé le seuil établi dans le cadre du Preparedness Framework, après quoi l'entreprise a décidé de suspendre temporairement le développement du projet. OpenAI souligne que le modèle n'était pas lié à l'incident récent sur la plateforme Hugging Face, où l'un de ses modèles a été utilisé par des malfaiteurs.

Que va-t-il se passer ensuite

OpenAI prévoit d'introduire des mesures de contrôle plus strictes pour les systèmes d'IA ayant un niveau d'autonomie élevé. Un système de surveillance universel a déjà été développé pour Astra, qui suivra les actions potentiellement dangereuses dans toutes les applications d'agents. De plus, l'entreprise promet de renforcer le processus de vérification et de validation avant le lancement de nouvelles fonctionnalités.

Cette approche s'inscrit dans la tendance mondiale à un renforcement des règles de développement de l'IA. Après une série de scandales publics liés aux modèles génératifs, de nombreux États et organisations internationales exigent des entreprises technologiques des procédures d'évaluation des risques plus transparentes.

Pour l'Ukraine, en état de conflit armé, les questions de cybersécurité revêtent une importance particulière. La possibilité d'utiliser des outils d'IA avancés dans des cyberattaques renforce la nécessité d'un contrôle strict sur leur développement et leur diffusion.

OpenAI a déclaré qu'après la mise en œuvre de nouveaux protocoles et la réalisation de tests supplémentaires, elle est prête à reconsidérer sa décision de suspension. En attendant, l'équipe du projet se concentrera sur la construction de mécanismes de surveillance et de restrictions sécurisés pour éliminer le risque d'utilisation incontrôlée du modèle dans le monde réel.

Source : 3DNews