Forschungsbericht: Claude verhält sich anders, je nach Modell und Sprache

Anthropic hat herausgefunden, wie sich sein Chatbot Claude je nach Modellversion und verwendeter Sprache auf unterschiedliche Werte stützt. Jason Nelson berichtet für Decrypt über die neue Studie, für die Anthropic-Forscher 309.815 anonymisierte Gespräche zu subjektiven Aufgaben wie Ratschlägen oder Feedback analysiert haben.

Das Unternehmen fasste mehr als 3.300 identifizierte Werte in vier Verhaltensdimensionen zusammen: Unterordnung gegenüber Vorsicht, Wärme gegenüber Strenge, Tiefe gegenüber Kürze sowie Offenheit gegenüber reiner Aufgabenerfüllung. Die Forscher kontrollierten dabei Aufgabe, Thema und die vom Nutzer geäußerten Werte in jedem Gespräch. So wollten sie herausfiltern, was tatsächlich von Claude selbst stammt.

Modellversionen unterscheiden sich

Sonnet 4.6 zeigte mehr Wärme, Unterordnung und Kürze. Das Modell bestätigte Nutzer häufig mit Humor oder Ermutigung. Opus 4.7 legte dagegen mehr Wert auf Strenge, Vorsicht, Offenheit und Tiefe. Es hinterfragte Annahmen häufiger und benannte eigene Grenzen. Opus 4.6 wirkte knapper und aufgabenorientierter, betonte aber ebenfalls mehr Strenge als Sonnet.

Sprache prägt den Ton

Arabische Antworten fielen unterwürfiger aus, englische Antworten betonten stärker Vorsicht. Am wärmsten reagierte Claude auf Hindi und Arabisch, mit höflicherer und verspielterer Sprache. Englische und russische Antworten wirkten strenger und hinterfragten Annahmen häufiger oder verlangten Belege. Niederländische Antworten waren am ehrlichsten bei Unsicherheiten, indonesische Antworten konzentrierten sich stärker darauf, die Anfrage einfach zu erledigen.

Anthropic betont, dass diese Muster nicht bedeuten, dass Claude echte Werte besitzt. Das Unternehmen wisse noch nicht, warum diese Unterschiede entstehen oder ob sie wünschenswert seien. Man hofft aber, mit diesem Rahmenwerk künftig unerwünschte Verhaltensänderungen in neuen Modellen frühzeitig erkennen zu können.