LoRA (Low-Rank Adaptation) ist eine effiziente Fine-Tuning-Technik für Sprachmodelle. Statt alle Milliarden Gewichte eines Foundation Models neu zu trainieren, fügt LoRA kleine, trainierbare Matrizen als Adapter hinzu – der Rest des Modells bleibt eingefroren.
Ergebnis: bis zu 10.000× weniger zu trainierende Parameter, deutlich kürzere Trainingszeit, geringere GPU-Anforderungen und austauschbare Adapter pro Anwendungsfall. LoRA ist Standard in Open-Weight-Workflows mit Llama, Mistral und Qwen. Die Weiterentwicklung QLoRA reduziert den Speicherbedarf zusätzlich durch Quantization.
Bei der Auswahl und Umsetzung effizienter Fine-Tuning-Strategien begleiten wir euch im Rahmen unserer KI-Leistungen.