LoRA (Low-Rank Adaptation) ist eine effiziente Methode, um große KI-Modelle an spezielle Aufgaben anzupassen, ohne dabei das gesamte Modell neu trainieren zu müssen.
Man kann sich LoRA wie einen kleinen, spezialisierten Zusatz vorstellen, der auf das ursprüngliche KI-Modell aufgesetzt wird. Dieser Ansatz ist vergleichbar mit einem Experten, der sich zusätzliches Spezialwissen aneignet, ohne sein Grundwissen zu verändern.
Der große Vorteil von LoRA liegt in der Ressourceneffizienz: Während das vollständige Training eines KI-Modells enorme Rechenleistung und Speicherkapazität erfordert, benötigt LoRA nur einen Bruchteil davon. Dies macht die Technologie besonders interessant für kleinere Unternehmen und einzelne Entwickler, die KI-Modelle an ihre speziellen Bedürfnisse anpassen möchten.
Beispielsweise kann ein allgemeines Sprachmodell mit LoRA darauf trainiert werden, den spezifischen Schreibstil eines Unternehmens zu übernehmen oder Texte in einer bestimmten Fachsprache zu verfassen. Besonders häufig wird LoRA auch bei Bildgenerierungsmodellen wie Stable Diffusion eingesetzt, um diese auf bestimmte Kunststile, Charaktere oder visuelle Konzepte zu spezialisieren.
Die Bezeichnung „Low-Rank“ bezieht sich dabei auf die mathematische Methode, mit der diese Anpassungen vorgenommen werden, bei der die Komplexität der Berechnungen deutlich reduziert wird.