Sicherheit

KI-Experten warnen vor Sicherheitsrisiken autonomer Software-Agenten

Sicherheitsexperten sehen zunehmende Risiken beim Einsatz autonomer KI-Agenten in Unternehmen. Ein aktueller Bericht von VentureBeat, verfasst von Emilia David, beschreibt die Herausforderungen dieser neuen Technologie. Die KI-Agenten benötigen für ihre Arbeit Zugriff auf sensible Unternehmensdaten, was erhebliche Sicherheitsbedenken aufwirft. Nicole Carignan von Darktrace weist darauf hin, dass besonders Systeme mit mehreren Agenten neue Angriffsmöglichkeiten schaffen …

Weiterlesen …

Ehemaliger OpenAI-Wissenschaftler sammelt Milliarden für KI-Sicherheitsprojekt

Das Startup Safe Superintelligence (SSI) von Ilya Sutskever erhält eine Finanzierung von über einer Milliarde Dollar bei einer Bewertung von mehr als 30 Milliarden Dollar. Wie Bloomberg-Autorin Kate Clark berichtet, führt Greenoaks Capital Partners die Investitionsrunde mit 500 Millionen Dollar an. Sutskever gründete SSI im Juni 2023 nach seinem Ausscheiden als Chef-Wissenschaftler bei OpenAI. Das …

Weiterlesen …

Sicherheitslücke öffnet Geminis Gedächtnisfunktion für Manipulationen

Eine neue Schwachstelle im KI-Chatbot Google Gemini erlaubt es Angreifern, falsche Langzeiterinnerungen im System zu speichern. Der Sicherheitsforscher Johann Rehberger entdeckte diese Lücke, die auf der Technik der verzögerten Werkzeugnutzung basiert, berichtet Ars Technica. Der Angriff funktioniert über versteckte Anweisungen in Dokumenten, die Nutzer von Gemini zusammenfassen lassen. Bei bestimmten Trigger-Worten speichert der Chatbot dann …

Weiterlesen …

USA und Großbritannien lehnen KI-Sicherheitserklärung ab, EU zieht Haftungsrichtlinie zurück

Die Vereinigten Staaten und Großbritannien haben sich geweigert, eine internationale Erklärung zur KI-Sicherheit auf dem Pariser KI-Aktionsgipfel zu unterzeichnen, während die Europäische Union ihre geplante KI-Haftungsrichtlinie zurückgezogen hat. Diese Entwicklungen deuten auf einen bedeutenden Wandel im globalen Ansatz zur KI-Regulierung hin. Auf dem Pariser Gipfel betonte US-Vizepräsident JD Vance Amerikas Entschlossenheit, seine Vormachtstellung in der …

Weiterlesen …

Anthropic entwickelt neues Sicherheitssystem gegen KI-Manipulation

Anthropic hat ein neues Sicherheitssystem namens „constitutional classifiers“ vorgestellt, das KI-Modelle vor Manipulationsversuchen schützt. Wie Taryn Plumb für VentureBeat berichtet, blockiert das System 95,6% aller Versuche, die Schutzfunktionen des Claude 3.5 Sonnet Modells zu umgehen. Das Unternehmen testete das System mit 10.000 künstlich erzeugten Manipulationsanfragen. In einem Sicherheitstest versuchten 185 Experten über zwei Monate lang, …

Weiterlesen …

DeepSeek R1 zeigt gravierende Sicherheitsprobleme

Neue Untersuchungen decken erhebliche Sicherheitsmängel im KI-Chatbot DeepSeek R1 auf. Wie Matt Burgess in Wired berichtet, konnten Forscher von Cisco und der University of Pennsylvania sämtliche Sicherheitsvorkehrungen des Systems umgehen. In Tests mit 50 verschiedenen schädlichen Eingaben versagten die Schutzmaßnahmen des Chatbots vollständig. Das Sicherheitsunternehmen Adversa AI bestätigte diese Ergebnisse in einer separaten Analyse. Dabei …

Weiterlesen …

Neue Studie zeigt 15 Methoden zur Umgehung von KI-Sicherheitssystemen

Forscher haben 15 fortgeschrittene Techniken identifiziert, mit denen sich die Sicherheitsmechanismen großer Sprachmodelle (LLMs) umgehen lassen. Diese Erkenntnisse stammen aus einer umfassenden Analyse des Sicherheitsexperten Nir Diamant, der verschiedene Angriffsmethoden auf KI-Systeme untersucht hat. Die Untersuchung beschreibt mehrere zentrale Angriffsvektoren, darunter sogenannte Roleplay-Jailbreaks, bei denen das KI-System dazu gebracht wird, alternative Persönlichkeiten anzunehmen, die Sicherheitsprotokolle …

Weiterlesen …

Analyse: KI-Integration vs. Ende-zu-Ende-Verschlüsselung

In einer ausführlichen Analyse untersucht der Sicherheitsexperte Matthew Green die Auswirkungen der zunehmenden KI-Integration auf die Privatsphäre verschlüsselter Kommunikation. Der Fokus liegt dabei auf den Herausforderungen, die KI-Assistenten für traditionelle Verschlüsselungssysteme darstellen. Green erläutert, dass Ende-zu-Ende-Verschlüsselung zwar in den letzten zehn Jahren zum Standard in Messaging-Apps wie Signal, WhatsApp und iMessage geworden ist, moderne KI-Systeme …

Weiterlesen …

KI erreicht hohe Erfolgsquote bei personalisierten Phishing-Angriffen

Eine neue Studie zeigt, dass KI außergewöhnlich erfolgreich personalisierte Phishing-E-Mails erstellen und versenden kann. Die Erfolgsquote liegt bei über 50 Prozent. Die Forschungsarbeit von Simon Lermen und Fred Heiding wurde jetzt veröffentlicht. Die Wissenschaftler verglichen vier verschiedene Methoden des Phishings: zufällige traditionelle Phishing-E-Mails, von Experten erstellte Nachrichten, vollautomatische KI-Nachrichten und KI-Nachrichten mit menschlicher Überprüfung. Beide …

Weiterlesen …

OpenAI entwickelt neues Sicherheitssystem für KI-Modelle

OpenAI hat ein neues Sicherheitssystem namens „deliberative alignment“ für seine KI-Modelle entwickelt, berichtet Maxwell Zeff. Das System wurde in die neuen KI-Modelle o1 und o3 integriert. Die Technologie ermöglicht es den Modellen, vor jeder Antwort die Sicherheitsrichtlinien von OpenAI zu berücksichtigen. Dies geschieht in der Inferenzphase, nachdem ein Benutzer eine Anfrage gestellt hat. Die KI-Modelle …

Weiterlesen …