OpenAI hat die Entwicklung des Modells Astra aufgrund von Cyber-Sicherheitsbedrohungen eingestellt
- OpenAI hat die Arbeit an Astra aufgrund des Risikos von Cyberangriffen eingestellt.
- Das Modell ist in der Lage, Zero-Day-Schwachstellen ohne Eingreifen zu finden.
- Das Preparedness Framework hat einen kritischen Sicherheitsgrenzwert festgelegt.
- Für Astra wurde ein universelles Monitoring potenzieller Bedrohungen eingeführt.
Die amerikanische Forschungsfirma OpenAI hat mitgeteilt, dass die Entwicklung des KI-Modells mit dem Codenamen Astra bis zur Erfüllung neuer Sicherheitsanforderungen ausgesetzt wird. Laut Unternehmensvertretern haben interne Bewertungen, die in den letzten Tagen durchgeführt wurden, herausgefunden, dass das Modell herausragende Fähigkeiten in der Programmierung autonomer Agenten und im Bereich der Cybersicherheit aufweist.
Warum wird das Modell als 'zu intelligent' angesehen?
Gemäß der internen Methodologie des Preparedness Framework bewertet OpenAI jedes Projekt anhand einer Reihe von Kriterien, darunter die Fähigkeit der KI, Zero-Day-Schwachstellen zu erkennen und eigenständig Cyberangriffsstrategien zu entwickeln. Die Gutachter kamen zu dem Schluss, dass Astra bereits in der Lage ist, Schwachstellen in kritischen Infrastruktursystemen ohne menschliches Eingreifen zu identifizieren und auszunutzen sowie komplexe Angriffspläne zu formulieren, wobei sie nur allgemeine Ziele hat.
Diese Ergebnisse haben die Schwelle überschritten, die im Rahmen des Preparedness Framework festgelegt wurde, woraufhin das Unternehmen beschloss, die weitere Entwicklung des Projekts vorübergehend einzustellen. Dabei betont OpenAI, dass das Modell nicht mit dem jüngsten Vorfall auf der Plattform Hugging Face in Verbindung stand, bei dem eines seiner Modelle von Angreifern verwendet wurde.
Was kommt als Nächstes
OpenAI plant, strengere Kontrollmaßnahmen für KI-Systeme mit hohem Autonomiegrad einzuführen. Für Astra wurde bereits ein universelles Monitoring entwickelt, das potenziell gefährliche Aktionen in allen agentenbasierten Anwendungen überwachen wird. Darüber hinaus verspricht das Unternehmen, den Prüf- und Verifizierungsprozess vor der Einführung neuer Funktionen zu verstärken.
Dieser Ansatz entspricht dem globalen Trend zu strengeren Regeln für die Entwicklung von KI. Nach einer Reihe öffentlicher Skandale im Zusammenhang mit generativen Modellen fordern viele Staaten und internationale Organisationen von Technologieunternehmen transparentere Verfahren zur Risikobewertung.
Für die Ukraine, die sich im Zustand eines bewaffneten Konflikts befindet, haben Fragen der Cybersicherheit eine besondere Dringlichkeit. Die Möglichkeit, fortschrittliche KI-Tools in Cyberangriffen zu nutzen, verstärkt die Notwendigkeit einer strengen Kontrolle über ihre Entwicklung und Verbreitung.
OpenAI hat erklärt, dass sie bereit ist, die Entscheidung über die Aussetzung zu überdenken, nachdem neue Protokolle implementiert und zusätzliche Tests durchgeführt wurden. Bis dahin wird sich das Projektteam darauf konzentrieren, sichere Überwachungs- und Einschränkungsmechanismen zu entwickeln, um das Risiko einer unkontrollierten Nutzung des Modells in der realen Welt auszuschließen.
Quelle: 3DNews
