Ein interessantes Experiment zeigt, wie Large Language Models (LLMs) durch wiederholte Optimierungsanfragen die Qualität von Programmcode deutlich verbessern können. Max Woolf testete das KI-System Claude 3.5 Sonnet mit dieser schrittweisen Codeoptimierung.
Das Experiment basierte auf einer spezifischen Programmieraufgabe: In einer Liste von einer Million Zufallszahlen sollte die Differenz zwischen der kleinsten und größten Zahl gefunden werden, deren Ziffernsumme 30 ergibt. Die Leistung des optimierten Codes verbesserte sich um das Hundertfache gegenüber der ursprünglichen Implementierung.
Zwei verschiedene Ansätze hat er dabei untersucht: eine informelle Methode mit einfachen „verbessere den Code“-Anfragen und ein strukturierter Ansatz mit konkreten Optimierungsvorgaben. Der strukturierte Ansatz erwies sich als effektiver, führte jedoch gelegentlich zu subtilen Fehlern.
Woolf kommt zu dem Schluss, dass LLMs zwar keine Programmierer ersetzen können, aber als wertvolle Werkzeuge zur Codeoptimierung dienen können, wenn sie richtig eingesetzt werden.