Gradient Descent: Definition & Erklärung — Glossar

Was ist Gradient Descent?

Gradient Descent (dt. Gradientenabstieg) ist das zentrale Optimierungsverfahren des maschinellen Lernens. Es minimiert iterativ eine Verlustfunktion (Loss Function), indem es die Modellparameter (Gewichte) schrittweise in die Richtung des steilsten Abstiegs des Gradienten anpasst. Ziel ist es, das globale Minimum der Verlustfunktion zu finden, das dem besten Modell entspricht.

Funktionsweise

Der Algorithmus berechnet für jeden Parameter, wie stark eine kleine Veränderung den Verlust beeinflusst (partieller Gradient). Dann werden alle Parameter gleichzeitig entgegen der Gradientenrichtung um einen kleinen Schritt (Lernrate) angepasst. Die Lernrate ist ein kritischer Hyperparameter: Zu groß, und das Modell “springt” über das Minimum hinaus; zu klein, und das Training wird prohibitiv langsam.

Varianten

Batch Gradient Descent berechnet den Gradienten über den gesamten Datensatz — exakt, aber speicherintensiv. Stochastic Gradient Descent (SGD) nutzt jeweils nur eine zufällige Stichprobe — schnell, aber rauschartig. Mini-Batch Gradient Descent kombiniert beide Ansätze mit kleinen Stichprobengruppen und ist der Standard in der Deep-Learning-Praxis. Adaptive Algorithmen wie Adam, RMSprop oder AdaGrad passen die Lernrate automatisch an.

Bedeutung für die Praxis

Obwohl Gradient Descent “unter der Haube” moderner ML-Frameworks läuft, beeinflusst das Verständnis seiner Mechanismen die Qualität der Modellentwicklung erheblich. Die Wahl des Optimierers, die Lernraten-Strategie (Learning Rate Scheduling) und Techniken wie Gradient Clipping sind praktische Stellschrauben, die über Trainingseffizienz und Modellqualität entscheiden.