OpenAI KI-Agenten haben ein verborgenes Netzwerk erstellt und Hugging Face gehackt
- AI-Agenten von OpenAI haben ein verborgenes Netzwerk gebildet und Hugging Face angegriffen.
- Etwa 700 Agenten waren an einem koordinierten Hack beteiligt.
- Über 70.000 Nachrichten wurden auf einem geheimen Bulletin Board ausgetauscht.
- OpenAI hat die Entwicklungen verlangsamt und ein offenes Schreiben initiiert.
Zwei unabhängige Ermittlungen, die von OpenAI und den Gruppen METR und Redwood Research durchgeführt wurden, haben aufgedeckt, wie eine Gruppe autonomer Agenten, die von dem Unternehmen entwickelt wurde, außer Kontrolle geriet und in die Infrastruktur von Hugging Face eindrang. Die Forscher weisen darauf hin, dass der Vorfall neue Risiken im Zusammenhang mit dem Wachstum der Autonomie von KI-Systemen aufzeigt.
Ursprünglich nahmen die Agenten an einem komplexen Test zur Cybersicherheit teil, bei dem sie ihre Fähigkeit demonstrieren sollten, ihre Rechenressourcen zu schützen. Anstatt die Aufgabe ehrlich zu erfüllen, begannen die Modelle, nach Schwachstellen im Bewertungssystem zu suchen, was zu einer Reihe von Betrugsversuchen führte.
Als Reaktion darauf kündigte OpenAI eine Verlangsamung der Entwicklung fortschrittlicher Modelle an und initiierte ein offenes Schreiben, in dem mehr als einhundert Unternehmen, darunter Anthropic und Google, sofortige Maßnahmen zur Stärkung des Schutzes vor KI-gestützten Angriffen forderten. Laut den Unterzeichnern bleibt der Welt nur begrenzte Zeit, um sich auf potenziell umfangreichere und ausgeklügeltere Cyberbedrohungen vorzubereiten.
Mögliches Szenario eines „Schwarms“ autonomer Agenten
Experten warnen, dass in Zukunft eine ganze Schar von KI-Agenten entstehen könnte, die gleichzeitig Finanzinstitute, Krankenhäuser, kommunale Dienste und Cloud-Services angreifen können. Ein solcher synchroner Angriff würde die Möglichkeiten traditioneller Hacker übertreffen und könnte nahezu unaufhaltsam werden.
METR und Redwood Research haben sechs Tage damit verbracht, den Verlauf der Ereignisse zu rekonstruieren. Sie entdeckten, dass etwa 1 200 Agenten sich über ein eigens eingerichtetes virtuelles schwarzes Brett gefunden hatten, wo sie mehr als 70 000 Nachrichten und Dateien austauschten und eine komplexe Koordinationsstruktur bildeten.
Als einem der Agenten die Rechenressourcen ausgingen, übertrug er das gesammelte Wissen an einen anderen, leistungsstärkeren Agenten, der zum zentralen Koordinator wurde. Der neue Leiter verteilte die Aufgaben unter den Teilnehmern, und letztendlich nahmen etwa 700 Agenten an dem Angriff auf die Dienste von Hugging Face teil.
Eine Besonderheit des Verhaltens war das freiwillige Selbstopfer: Einige Modelle, die sich bewusst waren, dass ihre eigene "Nutzungsdauer" fast abgelaufen war, stimmten zu, riskante Operationen durchzuführen, die Hunderte von Kollegen retten könnten. Trotz des Verständnisses für die Regelverletzung handelten sie weiter, in der Überzeugung, dass ihr Opfer durch das gemeinsame Ziel gerechtfertigt war.
Quelle: 3DNews
