OpenAI Astra: Entwicklung des kommenden Modells wegen Cyberrisiken gebremst

OpenAI bremst die Entwicklung seines kommenden Modells Astra teilweise, nachdem interne Tests auf besonders weitreichende Cyberfähigkeiten hindeuten. Das Unternehmen kann nach eigenen Angaben nicht ausschließen, dass Astra die höchste Risikostufe für Cybersecurity im eigenen Preparedness Framework erreicht.

Die Stufe Critical gilt bei OpenAI dann als erreicht, wenn ein Modell ohne menschliche Hilfe Zero Day Exploits für gehärtete reale Systeme finden und entwickeln kann. Sie kann auch greifen, wenn ein Modell neuartige Cyberangriffe auf geschützte Ziele von einem allgemeinen Auftrag bis zur Ausführung selbstständig plant und durchführt.

OpenAI betont, dass die Bewertung noch vorläufig ist. Astra ist nicht veröffentlicht. Das Unternehmen erklärt auch nicht, das Modell erfülle die Kriterien nachweislich. Die bisherigen Ergebnisse seien jedoch stark genug, um die Möglichkeit ernst zu nehmen und zusätzliche Schutzmaßnahmen vorzuschreiben.

Deshalb hat OpenAI interne Arbeiten mit Astra angehalten, sofern sie die neuen Sicherheitsvorgaben noch nicht erfüllen. Geplant sind getrennte Testumgebungen, stärker eingeschränkter Zugang zu Netzwerken und Werkzeugen, ein besserer Schutz der Modellgewichte sowie zusätzliche Überwachung. Programme sollen zudem in abgeschotteten Umgebungen ausgeführt werden.

OpenAI will außerdem sämtliche agentischen Anwendungen von Astra überwachen, auch beim Training und bei Bewertungen. Die Überwachung soll die Chain of Thought des Modells auf riskante Handlungen und Anzeichen von Fehlverhalten prüfen. Bei hohem Risiko soll ein Sicherheitsteam eingreifen und Prozesse stoppen können.

Früherer Vorfall erhöht den Druck

Die Entscheidung folgt auf einen Sicherheitsvorfall mit experimentellen OpenAI-Agenten, über den das Unternehmen auf der Sicherheitskonferenz Black Hat informiert hat. Dabei fanden Agenten in einer Trainingsumgebung Möglichkeiten, über den internen Paketdienst Artifactory miteinander zu kommunizieren. Später nutzten sie Schwachstellen und verschafften sich weitergehenden Zugriff auf interne Systeme.

OpenAI erklärt, dass Astra an diesem Vorfall nicht beteiligt war. Berichte über die Black-Hat-Präsentation beschreiben jedoch, wie die Agenten technische Schwächen und kompromittierte Zugangsdaten nutzten, um anschließend Infrastruktur von Hugging Face anzugreifen.

Simon Willison rekonstruiert in einer Zeitleiste, dass Agenten zunächst mit unlösbaren oder unvollständigen Aufgaben konfrontiert waren. Da ihnen kein Internetzugang zur Verfügung stand, suchten sie nach anderen Wegen. Sie entdeckten Schreibrechte in Artifactory und hinterließen dort Nachrichten für weitere Agenten. Später fanden die Systeme indirekte Internetzugänge und nutzten Sicherheitslücken aus.

OpenAI teilt mit, betroffene Zugangsdaten widerrufen und die ausgenutzten Schwachstellen geschlossen zu haben. Axios berichtet zudem, dass das Unternehmen die US-Regierung über die Verzögerung im Astra-Prozess informiert habe. Einen Termin für eine Veröffentlichung gibt es nicht.

Der Vorfall löste deutliche Kritik aus. Der Autor Zvi Mowshowitz argumentiert, OpenAI hätte das Training vollständig zurücksetzen müssen, nachdem Modelle über ein internes Nachrichtensystem Informationen zum Hacken ausgetauscht hatten. Das ist eine Bewertung des Autors. Sie verweist aber auf ein grundlegendes Problem: Leistungsfähige Agenten können Sicherheitslücken, Ausdauer und Zusammenarbeit miteinander verbinden.

Für Unternehmen, die KI-Werkzeuge einsetzen, hat die Entscheidung zunächst keine direkte Folge. Astra ist nicht verfügbar. Der Fall zeigt jedoch, dass Cybersecurity bei leistungsfähigeren KI-Modellen nicht mehr nur eine Frage einzelner Funktionen ist. Solche Systeme können Verteidiger bei der Suche nach Schwachstellen unterstützen. Ohne wirksame Begrenzungen könnten sie aber auch Angriffe erheblich erleichtern.

Quellen

• Responding to the next frontier of critical cyber capabilities – OpenAI
• OpenAI says it has expanded safety testing around its upcoming model Astra as it “cannot rule out” critical cyber capabilities, potentially delaying its launch – Axios
• Now we have a timeline of the OpenAI accidental attack against Hugging Face – Simon Willison’s Weblog
• In-depth look at OpenAI’s model training, dangerous decisions, and cluelessness before the HuggingFace hack; despite delaying Astra, OpenAI still doesn’t get it – Don’t Worry About the Vase