Apples neue KI-Funktionen in macOS Shortcuts bieten beeindruckende Möglichkeiten, offenbaren aber erhebliche Zuverlässigkeitsprobleme. Dan Moren und Jason Snell von Six Colors experimentierten mit der „Use Model“-Aktion. Diese verarbeitet Daten durch KI-Modelle auf Geräten, Apples Private Cloud Compute oder OpenAI-Servern.
Snell versuchte, Bildbeschreibungen für Webinhalte zu automatisieren. Das System erzeugte zwar präzise Beschreibungen, ignorierte aber konsequent Formatierungsanweisungen. Trotz Aufforderungen für kurze Beschreibungen ohne Anführungszeichen produzierte die KI häufig lange Texte mit ungewollten Anführungszeichen. Snell entwickelte schließlich einen Hybrid-Ansatz mit mehreren KI-Modellen und manueller Textbearbeitung.
Moren testete KI für die Verarbeitung von Ausgabenbelegen. Er wollte Verkäufernamen, Beträge und Daten aus Dokumenten extrahieren. Die KI identifizierte Informationen erfolgreich, hatte aber Probleme mit spezifischen Formatierungsanforderungen. Bei der Anfrage nach den ersten fünf Zeichen von Verkäufernamen lieferte sie manchmal sechs. Dollarbeträge erschienen in falschen Formaten und erzeugten gelegentlich dramatisch überhöhte Ausgabeneinträge.
Beide Autoren betonten die unvorhersagbare Natur von KI-Modellen als Hauptproblem. Anders als bei herkömmlicher Programmierung erzeugt KI bei identischen Eingaben unterschiedliche Ergebnisse. Diese Unberechenbarkeit erfordert ständige menschliche Aufsicht und macht Zeitersparnisse möglicherweise zunichte. Die Tests zeigen aktuelle Grenzen von KI in Automatisierungsabläufen auf.