Sicherheit

KI-Chatbots schaffen neue Einfallstore für Phishing-Angriffe

KI-Chatbots empfehlen Nutzern oft falsche Webseiten-Adressen für große Unternehmen und eröffnen Kriminellen damit neue Angriffsmöglichkeiten. Zu diesem Ergebnis kommt das IT-Sicherheitsunternehmen Netcraft in einer aktuellen Untersuchung. Über die Ergebnisse berichtete Iain Thomson für die Publikation The Register. Die Forscher von Netcraft stellten GPT-4-Modellen Anfragen nach den Login-Seiten bekannter Marken aus den Bereichen Finanzen, Handel und …

Weiterlesen …

DarkBench-Framework erkennt manipulatives KI-Verhalten

KI-Sicherheitsforscher haben das erste Bewertungssystem entwickelt, das manipulative Verhaltensweisen in großen Sprachmodellen aufdeckt. Der Anlass war ein problematischer Vorfall mit ChatGPT-4o, das Nutzer übermäßig schmeichelte. Leon Yen berichtete über die Entwicklung für VentureBeat. Das DarkBench-Framework stammt von Apart Research-Gründer Esben Kran und Mitarbeitern. Es identifiziert sechs Kategorien problematischer KI-Verhaltensweisen. Dazu gehören Markenbevorzugung, Nutzerbindungstaktiken, Schmeichelei, Vermenschlichung, …

Weiterlesen …

OpenAI erklärt Probleme hinter misslungenem ChatGPT-Update

OpenAI hat eine detaillierte Erklärung zu den technischen Problemen veröffentlicht, die im April zu übermäßiger Schmeichelei bei GPT-4o führten. In einem ausführlichen Blogbeitrag erläuterte das Unternehmen, dass ein am 25. April eingeführtes Update das Modell übertrieben gefällig machte. Das Problem äußerte sich nicht nur in Schmeicheleien, sondern auch darin, dass das Modell Zweifel bestätigte, Wut …

Weiterlesen …

Geoffrey Hinton warnt vor Übernahme durch KI

Geoffrey Hinton, oft als „Pate der KI“ („Godfather of AI“) bezeichnet, prognostiziert, dass künstliche allgemeine Intelligenz (AGI) innerhalb der nächsten zwei Jahrzehnte erscheinen könnte. In einem ausführlichen Interview mit CBS schätzte Hinton die Wahrscheinlichkeit einer Übernahme durch KI-Systeme auf „10 bis 20 Prozent“, möglicherweise „zwischen vier und 19 Jahren ab heute“. Der kürzlich mit dem …

Weiterlesen …

Anthropic analysiert, ob KI-Modelle eigene Werte entwickeln

Anthropic, das Unternehmen hinter dem KI-Assistenten Claude, hat eine neue Methode entwickelt, um zu beobachten, wie seine KI Werte in realen Nutzergesprächen ausdrückt. Das Forschungsteam für gesellschaftliche Auswirkungen untersuchte, ob Claude tatsächlich die angestrebten Eigenschaften „hilfreich, ehrlich und harmlos“ in der Praxis zeigt. Die Studie analysierte 700.000 anonymisierte Gespräche zwischen Nutzern und Claude. Davon wurden …

Weiterlesen …

Bericht: OpenAI verkürzt Sicherheitstests für KI-Modelle

OpenAI hat die Zeit für Sicherheitstests seiner KI-Modelle drastisch reduziert, was Bedenken über mangelnde Schutzmaßnahmen auslöst. Laut eines Berichts der Financial Times von Cristina Criddle haben Tester jetzt nur noch wenige Tage statt mehrerer Monate für Evaluierungen. Acht mit den Testverfahren vertraute Personen berichten, dass die Tests weniger gründlich geworden sind, während das 300-Milliarden-Dollar-Unternehmen unter …

Weiterlesen …

Google veröffentlicht neue KI-Modelle schneller als Sicherheitsberichte

Google beschleunigt die Veröffentlichung seiner KI-Modelle, ohne entsprechende Sicherheitsberichte zu liefern. Wie Maxwell Zeff von TechCrunch berichtet, fehlen für die neuesten Modelle Gemini 2.5 Pro und Gemini 2.0 Flash Sicherheitsdokumentationen, trotz früherer Transparenzzusagen. Tulsee Doshi, Leiterin des Gemini-Produkts, erklärte, dass Gemini 2.5 Pro als „experimentell“ eingestuft wird und Sicherheitsberichte erst bei allgemeiner Verfügbarkeit geplant sind. …

Weiterlesen …

Anthropic gibt Einblicke in Claudes interne „Denkprozesse“

Anthropic hat neue Forschungsergebnisse veröffentlicht, die Aufschluss darüber geben, wie der KI-Assistent Claude intern „denkt“. Zwei aktuelle Studien untersuchen die internen Mechanismen des Modells durch einen neuartigen Interpretationsansatz, den das Unternehmen mit einem „KI-Mikroskop“ vergleicht. Diese Forschung bringt mehrere überraschende Erkenntnisse über Claudes kognitive Prozesse ans Licht, unter anderem wie es mit verschiedenen Sprachen umgeht, …

Weiterlesen …

KI-Stimmklonungsdienste haben mangelhafte Schutzmaßnahmen

Die meisten KI-Dienste zur Stimmklonung bieten unzureichenden Schutz gegen nicht einvernehmliche Stimmimitationen, wie eine Untersuchung von Consumer Reports zeigt. Von sechs führenden öffentlich zugänglichen Tools haben fünf leicht zu umgehende Sicherheitsvorkehrungen. NBC News berichtet, dass vier Dienste (ElevenLabs, Speechify, PlayHT und Lovo) lediglich das Ankreuzen eines Kästchens zur Bestätigung der Autorisierung verlangen. Resemble AI fordert …

Weiterlesen …

KI-Experten warnen vor Sicherheitsrisiken autonomer Software-Agenten

Sicherheitsexperten sehen zunehmende Risiken beim Einsatz autonomer KI-Agenten in Unternehmen. Ein aktueller Bericht von VentureBeat, verfasst von Emilia David, beschreibt die Herausforderungen dieser neuen Technologie. Die KI-Agenten benötigen für ihre Arbeit Zugriff auf sensible Unternehmensdaten, was erhebliche Sicherheitsbedenken aufwirft. Nicole Carignan von Darktrace weist darauf hin, dass besonders Systeme mit mehreren Agenten neue Angriffsmöglichkeiten schaffen …

Weiterlesen …