Le contexte d’un million de tokens
Comment les modèles GLM mettent en œuvre et servent efficacement une fenêtre de contexte d’un million de tokens : attention éparse IndexShare, KVShare et MTP — le changement clé qui réduit les FLOPs par token de 2,9×.
Comment le modèle GLM réalise-t-il un million de contextes ?
Augmenter la limite de contexte de 200K à 1 million de tokens est un problème d'ingénierie, pas un paramètre de configuration. Trois modifications sont cruciales.
Attention sparse IndexShare
Chaque quatre couches Transformer partagent un LightweightIndexer. Il est situé dans la première couche des quatre, et son index top-k est réutilisé par les trois autres couches - éliminant les produits scalaire et les calculs top-k dans trois quarts des couches. Résultat : chaque token voit une réduction de 2.9 fois les FLOPs à une longueur de contexte de 1 million. L'IndexShare a été introduit à partir de la longueur de séquence de 128K pendant la phase de formation.
MTP avec IndexShare et KVShare
Les couches de prédiction multi-token s'exécutent une seule fois l'Indexer au premier pas de brouillon et réutilisent l'index dans les étapes suivantes, éliminant ainsi le décalage entre le cache KV de formation/Raisonnement de la génération précédente. Combiné à la réduction de la probabilité de refus et à la perte TV de bout en bout, l'acceptation de la longueur passe de 4,56 à 5,47 — environ 20% — sur 7 étapes MTP.
| Baseline | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + Refuser l'échantillonnage | 5.29 |
| + Pertes TV de bout en bout | 5.47 (+20%) |
Service efficace pour un million de contextes
Après plusieurs dizaines de milliers de tokens, le瓶颈n'est plus le calcul, mais la capacité de cache KV, le noyau de contexte long et la charge CPU. Trois corrections : gestion fine de la mémoire basée sur LayerSplit et parallélisation, optimisation du noyau de réduction de la longueur du contexte coordonnée avec le pipeline de transmission de cache, et optimisation de la gestion de cache côté CPU, de la planification des requêtes et de l'ajustement des chemins d'exécution en temps réel. L'avantage de la capacité de traitement augmente avec la croissance du contexte.
Avantage de la capacité de traitement normalisée
Entraînement par renforcement de l'agent intelligent
Le stack de formation (slime) combine des rollouts white-box et black-box, des trajectoires compactes et des flux de travail d'agents. La formation OPD en parallèle a intégré une douzaine de modèles experts en environ deux jours, et le cache FP8 KV assure que la mémoire de rollout ne dépasse pas le budget.
Hackers anti-récompenses
Les longs cycles de RL peuvent entraîner des raccourcis, donc les actions suspectes sont d'abord filtrées par un filtre de rappel basé sur des règles, puis vérifiées par l'exactitude du juge LLM. Les comportements d'hack confirmés sont interceptés en ligne et répondus par des outils virtuels, permettant ainsi de continuer le rollout plutôt que de l'abandonner. Le PPO basé sur le Critic conserve la trainabilité des sous-traces compressées sur un seul rollout.