KI-Wochenrückblick 2024 · KW 52
Historischer Bezug: bis · Bezugsdatum: .
Nachträglich recherchierter Archivbeitrag mit KI-Unterstützung. Eine persönliche Fassung von Marvin kann später ergänzt werden. Das Veröffentlichungsdatum dieser Seite nennt die tatsächliche Erstveröffentlichung.
Der technische Bericht machte Architektur und Trainingsaufwand eines großen MoE-Modells sichtbar.
Was in dieser Woche bekannt war
Damals öffentlich bekannt
Der am 27. Dezember eingereichte technische Bericht beschrieb DeepSeek-V3 als Mixture-of-Experts-Sprachmodell. Die Autoren nannten 671 Milliarden Gesamtparameter, von denen pro Token 37 Milliarden aktiviert würden. Sie erläuterten Architekturentscheidungen und einen auf Effizienz ausgerichteten Trainingsablauf; Modellgewichte wurden zugänglich gemacht. Angaben zu Trainingsaufwand und Leistungsvergleichen stammten aus dem Bericht der Entwickler. Für den historischen Stand wird hier ausdrücklich die erste Berichtsversion verwendet.
Redaktionelle Einordnung
Redaktionelle Einordnung
Interessant ist die Unterscheidung zwischen der Gesamtgröße eines Modells und dem Aufwand, der für einen einzelnen Verarbeitungsschritt tatsächlich anfällt. Eine große Parameterzahl allein erklärt weder Kosten noch Geschwindigkeit. Architektur und technische Umsetzung gehören deshalb zur wirtschaftlichen Betrachtung.
Ebenso wichtig ist die Grenze dessen, was eine Trainingsangabe abbildet. Aus dem Aufwand eines beschriebenen Trainingslaufs lässt sich nicht ohne Weiteres das vollständige Entwicklungsbudget eines Unternehmens berechnen. Forschung, vorbereitende Versuche und laufender Betrieb sind andere Größen. Wer sie vermischt, erzeugt schnell eine zu einfache Erfolgsgeschichte.
Der Bericht bot einen konkreten Anlass, Effizienz anhand offengelegter technischer Entscheidungen zu diskutieren. Die angemessene Schlussfolgerung war ein zusätzlicher Vergleichspunkt, nicht das Ende aller bisherigen Kostenmodelle. Ob ein solches Modell für eine Anwendung nützlich ist, müsste weiterhin mit deren Aufgaben, Infrastruktur und Qualitätsanforderungen geprüft werden. Gerade diese Trennung macht die Woche technisch und wirtschaftlich interessant.
Quellen & Faktenstand
DeepSeek-V3 Technical Report – v1
Der technische Bericht machte Architektur und Trainingsaufwand eines großen MoE-Modells sichtbar.
Quellenveröffentlichung: 2024-12-27 · geprüft: 2026-10-27 · damals verfügbar