Hintergrund

Studie zeigt Schwächen bei Benchmarks für KI-Agenten

Ein neuer Forschungsbericht der Princeton University enthüllt Schwächen in aktuellen Benchmarks und Bewertungspraktiken für KI-Agenten. Die Forscher bemängeln, dass die Kostenkontrolle bei der Bewertung oft vernachlässigt wird, obwohl der Ressourcenaufwand für KI-Agenten im Vergleich zu einzelnen Modellabfragen erheblich höher sein kann. Dies führe zu verzerrten Ergebnissen, da teure Agenten mit hoher Genauigkeit in Benchmarks besser abschneiden, …

Weiterlesen …

Warum ChatGPT & Co. bisweilen grandios an Aufgaben scheitern

In einem früheren Smart Content Report zeigte ich eine kuriose bebilderte Anleitung, generiert von ChatGPTs Dall-E: Ich finde solche „Fails“ spannend zu sehen, weil sich dort oftmals grundsätzliche Probleme zeigen.  Wir sind z.B. immer noch ein gutes Stück von einer KI entfernt, die die Welt um sich herum tatsächlich versteht („General World Model“). Im Moment …

Weiterlesen …

KI vs. Urheberrecht

Dieser Artikel von Tim O’Reilly diskutiert die komplexe Urheberrechtsproblematik im Zusammenhang mit KI-Training und -Nutzung. Er argumentiert, dass statt eines rechtlichen Kampfes eine Lösung gefunden werden muss, die sowohl KI-Entwickler als auch Urheber begünstigt. O’Reilly schlägt vor, dass KI-Unternehmen Urheberrechte respektieren, Quellenangaben machen und für Outputs statt fürs Training bezahlen sollten. 

Den KI-Hype-Cycle verstehen

In seinem Artikel für VentureBeat analysiert Samir Kumar, Mitbegründer von Touring Capital, den aktuellen KI-Hype-Zyklus. Er warnt davor, voreilige Schlüsse zu ziehen und erinnert an frühere Technologiewellen wie die Smartphone-Revolution. Kumar betont, dass die ersten Innovatoren oft nicht die langfristigen Gewinner sind. Er rät Gründern und Investoren, bei KI-Startups besonders auf Datenstrategien, regulatorische Voraussicht und Cybersicherheit …

Weiterlesen …

KI als Helfer und nicht als Ersatz für kritisches Denken

Der Artikel „Turning the Tables on AI“ schlägt einen innovativen Ansatz im Umgang mit künstlicher Intelligenz vor. Statt KI als Ersatz für eigenes Denken zu nutzen, plädiert der Autor dafür, sie als Werkzeug zur Förderung des kritischen Denkens einzusetzen. Er präsentiert praktische Tipps, wie man ChatGPT als Ideengenerator, Fragensteller und Editor nutzen kann, ohne dabei die eigene …

Weiterlesen …

KI-Funktionen sorgen nicht für bessere Umsätze

Trotz zahlreicher KI-Integrationen in Anwendungen wie Salesforce oder Adobe Photoshop bleiben nennenswerte Umsätze offenbar bisher aus, berichtet Bloomberg. Viele Unternehmen seien sich noch unsicher über geeignete Preismodelle. Währenddessen profitieren Hardware- und Cloud-Anbieter deutlich stärker vom KI-Boom. 

Studie: „Open Weights“ ist nicht „Open Source“

Viele KI-Modelle, die Chatbots antreiben, werben mit „Open Source“, geben aber den Code und die Trainingsdaten nicht vollständig frei. Eine neue Studie zeigt, dass viele große Unternehmen ihre Modelle als „Open Weights“ bezeichnen, was bedeutet, dass Forscher sie zwar nutzen, aber nicht einsehen oder grundlegend anpassen können. Besonders hinderlich ist die fehlende Transparenz bei den Trainingsdaten. Kleine Firmen und …

Weiterlesen …

Selbst fortgeschrittene KI scheitert als Agent

Ein neuer Benchmark-Test von Sierra zeigt, dass selbst fortschrittliche Sprachmodelle wie GPT-4o bei komplexen Aufgaben in realistischen Szenarien noch Schwierigkeiten haben und eine Erfolgsquote von unter 50 Prozent erreichen. Der Test namens TAU-bench soll Entwicklern helfen, die Leistung von KI-Agenten in realitätsnahen Situationen zu bewerten, indem er Faktoren wie mehrfache Interaktionen und komplexe Aufgaben berücksichtigt.

Achtung: KI-Detektoren sind „weder genau noch zuverlässig“

Es gibt zahlreiche Dienste, die damit werben, dass sie KI-Texte mit „99% Genauigkeit“ erkennen können – ohne die Nachweise dafür öffentlich zu machen. Zugleich gibt es Dienste, die damit werben, dass sie KI-Texte so anpassen, dass sie angeblich kein Detektor erkennen kann. Beides zugleich kann nicht stimmen. Zugegeben: Einen unveränderten Text von GPT 3.5 würde …

Weiterlesen …

Neue Quellen für bessere KI-Trainingsdaten

Große Sprachmodelle (LLMs) werden nicht mehr nur mit Daten aus dem Internet trainiert. Früher basierten LLMs auf dem riesigen Datenfundus des Internets, doch die Grenzen dieses Ansatzes sind erreicht. Um LLMs weiterzuentwickeln, greifen Unternehmen wie OpenAI auf neue Datentypen zurück: Gezielte Kommentierung und Filterung verbessern die Qualität bestehender Daten, menschliches Feedback optimiert das Verhalten der Modelle, …

Weiterlesen …

×