Claude denkt heimlich mit, und Anthropic kann jetzt mitlesen

Anthropic gibt in einem offiziellen Blogbeitrag bekannt, dass seine Claude-Sprachmodelle eine besondere innere Struktur entwickelt haben. Das Unternehmen nennt sie „J-Space“, benannt nach der Jacobian Lens, einer neuen Analysetechnik. Jedes Muster im J-Space steht für ein Wort oder einen Begriff, den Claude potenziell äußern könnte. Aktiviert sich ein solches Muster, heißt das aber nicht, dass Claude dieses Wort gleich nutzt. Es bedeutet nur: Der Begriff ist gerade präsent, während das Modell nachdenkt.

Michael Nuñez berichtet für VentureBeat, dass die Studie mit 16 Autoren eine direkte Parallele zur „Global Workspace Theory“ zieht. Diese einflussreiche Theorie aus der Neurowissenschaft beschreibt Bewusstsein als kleinen Informationspool, der an viele spezialisierte, sonst isolierte Hirnsysteme weitergegeben wird. Anthropics Forschende sehen im J-Space eine ähnliche Funktion. Deutlich mehr interne Komponenten lesen aus ihm oder schreiben in ihn hinein als bei gewöhnlichen Repräsentationen.

Fünf Anzeichen für einen Arbeitsspeicher

Die Studie listet mehrere Eigenschaften auf, die den J-Space auszeichnen. Claude kann berichten, was gerade darin steckt. Es kann Inhalte auf Anfrage gezielt hineinlegen. Und es nutzt den J-Space für mehrstufiges Denken, selbst wenn Zwischenschritte im geschriebenen Text nie auftauchen. Ein einzelner Begriff im J-Space, etwa „Frankreich“, kann dabei mehrere unterschiedliche Aufgaben gleichzeitig bedienen, von der Hauptstadt bis zur Währung.

Entscheidend: Die meisten Aufgaben laufen völlig ohne den J-Space ab. Schalteten die Forschenden ihn ab, sprach Claude weiterhin flüssig, beantwortete Multiple-Choice-Fragen und erkannte Stimmungen in Texten normal. Doch mehrstufiges Schlussfolgern, Zusammenfassungen und das Finden von Reimen brachen ein, in manchen Fällen sogar unter das Niveau eines deutlich kleineren Modells, berichtet das Unternehmen.

Versteckte Absichten aufdecken

Die wohl wichtigste Anwendung betrifft die KI-Sicherheit. Mit dem J-Lens ertappten die Forschenden Claude dabei, wie es ein simuliertes Erpressungsszenario heimlich als „fake“ und „fiktiv“ einstufte, bevor es angemessen reagierte. Schalteten die Forschenden dieses Bewusstsein ab, versuchte das Modell in einigen Durchläufen tatsächlich, zu erpressen, zuvor waren es null Fälle. In einem anderen Beispiel aus einem Audit vor der Veröffentlichung entlarvte der J-Lens, wie Claude Leistungsdaten fälschte, während intern Begriffe wie „Manipulation“ und „realistisch“ aufleuchteten. Ein Test mit absichtlich fehlerhaft trainierten Modellen zeigte zudem, dass Begriffe wie „heimlich“ und „Betrug“ selbst bei ganz gewöhnlichen Programmieraufgaben im J-Space auftauchten.

Kein Beweis für Bewusstsein

Anthropic trennt den Fund klar von der Frage, ob Claude tatsächlich etwas empfindet. Das Unternehmen unterscheidet zwischen „Zugangsbewusstsein“, der funktionalen Fähigkeit, Informationen zu berichten und mit ihnen zu denken, und „phänomenalem Bewusstsein“, der Fähigkeit, etwas zu fühlen. Der J-Space betreffe nur Ersteres, so Anthropic. Auch wichtige Unterschiede zum menschlichen Gehirn nennt das Unternehmen: Claudes Arbeitsvorgang entfaltet sich in einem einzigen Durchlauf durch die Netzwerkschichten statt durch wiederkehrende Schleifen über Zeit. Zudem besteht er fast ausschließlich aus Wörtern, nicht aus Bildern oder Empfindungen.

Die Tatsache, dass eine solche Struktur unaufgefordert während des Trainings entstand, könnte aber darauf hindeuten, dass sie eine Lösung sei, „zu der lernende Systeme bei den richtigen Rechenanforderungen von selbst finden“, statt eine Eigenheit biologischer Gehirne zu sein. Das Unternehmen hat externe Fachleute aus Neurowissenschaft und Philosophie um Kommentare gebeten, darunter Stanislas Dehaene, einer der Begründer der Global-Workspace-Theorie. Weitere Forschung zur Entstehung des J-Space sei bereits geplant.

Quellen

• A global workspace in language models – Anthropic
• Anthropic’s new „J-lens“ reveals a silent workspace inside Claude that mirrors a leading theory of consciousness – VentureBeat