Parallelverarbeitung: Definition & Erklärung — Glossar

Was ist Parallelverarbeitung?

Parallelverarbeitung bezeichnet die gleichzeitige Ausführung mehrerer Berechnungsaufgaben auf mehreren Prozessoren, Kernen oder Rechnern. Im Gegensatz zur sequentiellen Verarbeitung (eine Aufgabe nach der anderen) reduziert Parallelverarbeitung die Gesamtlaufzeit erheblich — proportional zur Anzahl der genutzten Verarbeitungseinheiten, begrenzt durch Amdahls Gesetz.

CPU vs. GPU-Parallelverarbeitung

CPUs besitzen wenige, aber sehr leistungsstarke Kerne (4–64) — optimiert für sequenzielle, komplexe Aufgaben. GPUs besitzen tausende kleiner Kerne (bis zu 10.000+) — optimiert für massiv parallele, gleichartige Operationen. KI-Training nutzt GPUs, weil Matrix-Multiplikationen (Grundoperationen neuronaler Netze) ideal parallelisierbar sind. NVIDIA CUDA ist die dominierende Plattform für GPU-Computing in der KI-Entwicklung.

Parallelverarbeitung in der Datenverarbeitung

Apache Spark und Hadoop verteilen Datenverarbeitungsaufgaben auf Cluster von Rechnern. Map-Reduce ist das grundlegende Paradigma: Daten werden parallel verarbeitet (Map) und Ergebnisse zusammengeführt (Reduce). Für mittelständische Unternehmen bieten cloud-native Dienste (AWS EMR, Google Dataproc) Zugang zu Parallelverarbeitungskapazitäten ohne eigene Cluster-Infrastruktur.