Transfer Learning: Definition & Erklärung — Glossar

Was ist Transfer Learning?

Transfer Learning (dt. Transferlernen) ist ein Machine-Learning-Verfahren, bei dem ein Modell, das auf einer Aufgabe oder einem großen Datensatz trainiert wurde, als Ausgangspunkt für ein anderes, verwandtes Problem genutzt wird. Statt von Grund auf neu zu lernen, überträgt das Modell bereits erworbenenes Wissen auf die neue Aufgabe.

Wie es funktioniert

Ein vortrainiertes Modell (Pretrained Model) hat bereits allgemeine Merkmale und Muster gelernt — z. B. hat ein auf ImageNet trainiertes Bildklassifikationsmodell Kanten, Texturen und Formen erkannt. Diese generellen Repräsentationen werden als Startpunkt für eine spezialisierte Aufgabe genutzt. Der Transfer kann auf zwei Arten erfolgen: Feature Extraction (nur die neuen Ausgabeschichten werden trainiert) oder Finetuning (das gesamte Modell wird auf neuen Daten weitertrainiert, mit niedriger Lernrate).

Bedeutung für die Praxis

Transfer Learning hat das Machine Learning demokratisiert: Statt Millionen von Datenpunkten und teurer Rechenzeit von Grund auf zu trainieren, reichen oft einige Hundert oder Tausend Beispiele, um ein vortrainiertes Modell zu spezialisieren. BERT, GPT und andere Foundation Models sind vortrainierte Basis-Modelle, die durch Finetuning auf spezifische Unternehmensdomänen angepasst werden. Selbst ressourcenarme Unternehmen können so von State-of-the-Art-KI profitieren.

Domänen und Grenzen

Transfer Learning funktioniert am besten, wenn Quell- und Zieldomäne ähnlich sind. Ein auf englischen Texten vortrainiertes Sprachmodell lässt sich gut auf deutsche Texte übertragen — weniger gut auf Programmiercode oder medizinische Fachterminologie ohne zusätzliches Pretraining. Negative Transfer kann auftreten, wenn sich Quell- und Zieldomäne zu stark unterscheiden und das übertragene Wissen die neue Aufgabe behindert.