Hyperparameter: Definition & Erklärung — Glossar

Was sind Hyperparameter?

Hyperparameter sind Konfigurationsparameter eines Machine-Learning-Modells oder Trainingsverfahrens, die vor dem Training festgelegt werden und den Lernprozess steuern. Im Gegensatz zu Modellparametern (Gewichten), die das Modell während des Trainings selbst optimiert, werden Hyperparameter manuell oder durch automatisierte Suchverfahren bestimmt.

Wichtige Hyperparameter

Lernrate (Learning Rate): Bestimmt, wie groß die Schritte beim Gradient Descent sind. Batch-Größe: Anzahl der Trainingsbeispiele pro Update-Schritt. Anzahl der Epochen: Wie oft der gesamte Trainingsdatensatz durchlaufen wird. Baumtiefe (bei Decision Trees/Random Forests): Kontrolliert die Komplexität des Modells. Dropout-Rate (bei Neural Networks): Anteil der zufällig deaktivierten Neuronen zur Regularisierung. Anzahl der Schichten und Neuronen: Architektur des neuronalen Netzes.

Hyperparameter-Optimierung

Die manuelle Suche nach optimalen Hyperparametern ist zeitaufwändig und fehleranfällig. Automatisierte Methoden: Grid Search (systematisches Durchsuchen eines definierten Parameterraums), Random Search (zufällige Stichproben, oft effizienter als Grid Search), Bayesian Optimization (lernt aus bisherigen Evaluierungen, welche Bereiche vielversprechend sind) und Hyperband (resourcen-effiziente Variante). Tools wie Optuna, Ray Tune oder Weights & Biases automatisieren diese Suche.

Overfitting und Underfitting

Falsch gewählte Hyperparameter führen zu Overfitting (Modell lernt Trainingsdaten auswendig, generalisiert schlecht) oder Underfitting (Modell ist zu simpel, lernt keine nützlichen Muster). Cross-Validation hilft, Hyperparameter robust auf ungesehenen Daten zu bewerten. Ein separates Validierungsset ist für die Hyperparameter-Evaluierung zwingend erforderlich.