Warum winzige KI-Modelle manchmal mehr leisten als große Chatbots

2019 erlebte der nigerianische Unternehmer Adebayo Alonge ein technisches Debakel bei einer Produktvorführung in Kapstadt: Sein KI-gestützter Pillenscanner musste ein Rechenzentrum 14.000 Kilometer entfernt erreichen, aber die Verbindung war viel zu langsam. David Berreby berichtet für IEEE Spectrum, dass dieser Vorfall Alonge dazu brachte, sein KI-Modell innerhalb weniger Stunden zu verkleinern. Danach lief es direkt auf einem Smartphone, ganz ohne Internetverbindung.

Dieser Moment markierte den Beginn einer größeren Entwicklung hin zu sogenannter „kleiner KI“. Diese Modelle haben höchstens einige Milliarden Parameter und laufen auf Smartphones, Raspberry Pis oder sogar Sensoren. Anders als große Sprachmodelle benötigen sie kaum Strom, keine Cloud-Anbindung und einfache Hardware.

Ein im Artikel zitierter Weltbank-Bericht zeigt: Nur 0,7 Prozent der Internetnutzer in den ärmsten Ländern der Welt haben ChatGPT je genutzt. In wohlhabenden Ländern liegt dieser Anteil bei einem Viertel. Weltbank-Präsident Ajay Banga sagte beim Weltwirtschaftsforum in Davos, die meisten Länder außerhalb Indiens und Chinas hätten schlicht nicht die nötigen Ressourcen für große KI-Systeme. Kleine KI könne wichtige Dienste leisten.

Beispiele aus aller Welt

• Eine Drohne des indischen Vellore Institute of Technology erkennt kranke Cashew-Pflanzen und verarbeitet die Daten direkt an Bord.
• Ein 50-Dollar-Gerät auf Arduino-Basis wertet in Brasilien Sensordaten aus, um stehende Gewässer zu finden, in denen sich Moskitos vermehren.
• Alonges Scanner prüft auf dem Smartphone die Echtheit von Medikamenten, ganz ohne Internetzugang.

Der brasilianische Professor Marcelo José Rovai erklärt, viele kleine Modelle entstünden durch „Pruning“ oder „Distillation“ großer Modelle. Dabei bleiben nur die Parameter erhalten, die für eine bestimmte Aufgabe nötig sind. Verbesserte Smartphone-Hardware und offene Modelle wie Google DeepMinds Gemma 4 erleichtern diesen Prozess zunehmend, sagt er.

Experten warnen jedoch: Kleine KI löst keine tieferliegenden strukturellen Probleme. Zuverlässiger Strom, funktionierende Lieferketten und technische Bildung bleiben nötig, damit die Technologie langfristig wirkt, sagt Alonge.