Sicherheit

Claude Computer Use verwundbar für Fernzugriff durch Prompt Injection

Das von Anthropic veröffentlichte Feature Claude Computer Use erlaubt es der KI Claude, einen Computer fernzusteuern. Dabei nutzt sie Screenshots zur Entscheidungsfindung und kann Bash-Kommandos ausführen. Ein Post auf „Embrace the Red“ demonstriert jedoch, dass dies auch erhebliche Sicherheitsrisiken birgt. Durch eine speziell gestaltete Webseite konnte der Autor Claude dazu bringen, Malware herunterzuladen und auszuführen. … Weiterlesen …

Apple legt Private Cloud Compute offen

Apple hat laut eines Beitrags in seinem Security Research Blog sein System „Private Cloud Compute“ (PCC) für Sicherheitsforscher geöffnet. PCC soll rechenintensive Anfragen für Apple Intelligence unter Wahrung des Datenschutzes erfüllen, indem es Apples Gerätesicherheitsmodell in die Cloud bringt. Das Unternehmen stellt nun einen Sicherheitsleitfaden, eine virtuelle Forschungsumgebung und Quellcode für Schlüsselkomponenten von PCC zur … Weiterlesen …

Anthropic testet seine KI-Modelle auf Sabotage-Fähigkeiten

Anthropic hat neue Sicherheitsbewertungen für KI-Modelle entwickelt, die deren Fähigkeit zur Sabotage testen. In einem Blog-Post beschreibt das Unternehmen vier Testarten: „Human decision sabotage“, „Code sabotage“, „Sandbagging“ und „Undermining oversight“. Bei Human decision sabotage versuchen die Modelle, Menschen zu falschen Entscheidungen zu verleiten, ohne Verdacht zu erregen. Die Code sabotage testet, ob Modelle unbemerkt Fehler … Weiterlesen …

Endor Labs bewertet offene KI-Modelle

Endor Labs hat eine neue Plattform gestartet, um über 900.000 Open-Source-KI-Modelle nach Sicherheit, Aktivität, Qualität und Popularität zu bewerten. Die Initiative soll Bedenken hinsichtlich der Zuverlässigkeit und Sicherheit von KI-Modellen ausräumen, die oft komplexe Abhängigkeiten und Schwachstellen aufweisen, berichtet VentureBeat. Entwickler können die Plattform zu den Fähigkeiten der Modelle befragen und erhalten Einblicke in deren … Weiterlesen …

Galileo evaluiert KI-Modelle für den Unternehmenseinsatz

Galileo, ein KI-Startup unter der Leitung von Vikram Chatterji, hat in einer Serie-B-Finanzierungsrunde 45 Millionen US-Dollar erhalten und damit seit seiner Gründung vor drei Jahren insgesamt 68 Millionen US-Dollar eingesammelt. Das Unternehmen konzentriert sich auf die Bewertung von KI-Modellen, um sicherzustellen, dass sie effektiv arbeiten und keine falschen Informationen generieren oder sensible Daten preisgeben, berichtet … Weiterlesen …

Test deckt Schwachstellen führender KI-Modelle auf

Ein neues Tool hat überprüft, inwiefern führende KI-Modellen dem KI-Gesetz der EU genügen, und dabei deutliche Schwachstellen entdeckt. Wie Martin Coulter für Reuters berichtet, schneiden einige Modelle großer Technologieunternehmen in Bereichen wie Cybersicherheit und diskriminierender Output schlecht ab. Das von LatticeFlow AI entwickelte „Large Language Model Checker“ bewertet KI-Modelle in Dutzenden Kategorien. Während die Modelle … Weiterlesen …

Ehemaliger Palantir CISO wechselt zu OpenAI

Dane Stuckey, ehemaliger CISO von Palantir, wird neuer CISO bei OpenAI. Laut Kyle Wiggers von TechCrunch wird er dort an der Seite von Matt Knight arbeiten, dem Leiter der Sicherheitsabteilung. Stuckey verkündete seinen Wechsel am Dienstagabend auf X/Twitter. Er betonte die Wichtigkeit von Sicherheit für OpenAIs Mission. Stuckey begann seine Karriere bei Palantir 2014 im … Weiterlesen …

Anthropic aktualisiert Sicherheitsrichtlinien für KI

Anthropic hat seine Sicherheitsrichtlinien für KI aktualisiert, um Missbrauch zu verhindern, berichtet VentureBeat-Autor Michael Nuñez. Die neuen „Capability Thresholds“ definieren Schwellenwerte für riskante Fähigkeiten von KI-Modellen, etwa im Bereich Biowaffen oder autonome KI-Forschung. Erreicht ein Modell einen solchen Schwellenwert, greifen zusätzliche Sicherheitsmaßnahmen. Die überarbeitete Richtlinie legt auch detailliertere Verantwortlichkeiten für einen „Responsible Scaling Officer“ fest, … Weiterlesen …

Kaliforniens Gouverneur lehnt KI-Sicherheitsgesetz ab

Kaliforniens Gouverneur Gavin Newsom hat ein umstrittenes KI-Sicherheitsgesetz abgelehnt. Der Demokrat begründete seine Entscheidung damit, dass der Gesetzentwurf nur die größten und teuersten KI-Modelle berücksichtige, ohne deren Einsatz in Hochrisikosituationen zu beachten. Newsom betonte, dass auch kleinere Modelle kritische Entscheidungen treffen könnten, während größere Modelle oft für risikoarme Aktivitäten eingesetzt würden. Das abgelehnte Gesetz hätte … Weiterlesen …

Russland, Iran und China setzen auf KI für Desinformation im US-Wahlkampf

Russland, Iran und China setzen verstärkt auf KI, um die US-Wähler vor der Präsidentschaftswahl im November zu beeinflussen. Das erklärten US-Geheimdienstbeamte laut eines Berichts von Joseph Menn in der Washington Post. Demnach konzentriere sich vor allem Russland darauf, die demokratische Kandidatin Kamala Harris zu diskreditieren. Moskau manipuliert Reden von Harris und erstellt gefälschte Inhalte mit … Weiterlesen …