Das Millionen-Token-Kontextfenster
Wie GLM-Modelle ein 1-Millionen-Token-Kontextfenster implementieren und effizient bedienen: IndexShare Sparse Attention, KVShare und MTP — die Schlüsseländerung, die die FLOPs pro Token um 2,9× senkt.
How does the GLM model achieve a million contexts?
Die Erhöhung des Kontextlimits von 200K auf eine Million Tokens ist ein ingenieurtechnisches Problem und keine Konfigurationsparameter. Drei Änderungen sind entscheidend.
IndexShare Sparse Attention
Jede vier Transformer-Schicht teilt sich einen leichten Indexer. Er befindet sich in der ersten Schicht der vier und seine top-k-Indizes werden von den übrigen drei Schichten wiederverwendet – was den Indexer-Punktprodukt und die top-k-Berechnung in einem Viertel der Schichten eliminiert. Ergebnis: Jeder Token hat unter einer Million Kontextlänge um 2,9-mal weniger FLOPs. IndexShare wurde ab der Mitte des Trainings mit einer Sequenzlänge von 128K eingeführt.
MTP in Kombination mit IndexShare und KVShare
Die Multi-Token-Vorhersage-Schichten führen den Indexer in der ersten Schreibphase aus und wiederholen ihn in den folgenden Schritten, was die Anpassung des KV-Caches zwischen Training und Inferenz des Vorjahres eliminiert. In Kombination mit der Ablehnung von Sampling und End-to-End TV-Loss steigt die akzeptierte Länge von 4.56 auf 5.47 – etwa 20% – über 7 MTP-Schritte hinweg.
| Referenzlinie | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + Abweisung der Stichprobe | 5.29 |
| + End-to-End TV-Verlust | 5.47 (+20%) |
Effiziente Dienstleistung für Millionen von Kontexten
Nach mehr als einigen hunderttausend Token wird das Bottleneck nicht mehr die Berechnung, sondern die KV-Cache-Kapazität, das lange Kontextkern und die CPU-Ausgaben. Drei Reparaturen: Feingranularer Speichermanagement und Parallelisierung basierend auf LayerSplit, Optimierung des Kontextlänge-Skalierungskerns, der mit dem Cache-Übertragungspipeline abgestimmt ist, sowie CPU-seitige Cache-Management, Anforderungsscheduling und Laufzeitpfad-Optimierung. Der Durchsatzvorteil wächst mit dem Kontext.
Normalisierte Durchsatzvorteile
Training des intelligenten Agents durch Verstärkungslernen
Der Trainingsstapel (slime) kombiniert White-Box- und Black-Box-Rollouts, komprimierte Spuren und Sub-Agenten-Workflows. Parallel OPD-Training kombiniert in etwa zwei Tagen mehr als ein Dutzend Expertenmodelle, FP8 KV-Cache stellt sicher, dass der Rollout-Speicher innerhalb des Budgets bleibt.
Anti-Belohnungshacker
Langfristige RL kann kürzliche Wege erzeugen, daher werden verdächtige Aktionen zunächst durch einen regelbasierten Recall-Filter geleitet und dann durch eine präzise Überprüfung der Genauigkeit durch LLM beurteilt. Bestätigte Hacker-Aktionen werden online abgefangen und mit virtuellen Tool-Ergebnissen beantwortet, so dass der Rollout fortgesetzt werden kann, anstatt abgebrochen zu werden. Critic-basierte PPO hält die Trainierbarkeit der komprimierten Subtrajectoren auf einem Rollout aufrecht.