El contexto de un millón de tokens
Cómo los modelos GLM implementan y sirven de forma eficiente una ventana de contexto de un millón de tokens: atención dispersa IndexShare, KVShare y MTP, el cambio clave que reduce los FLOPs por token 2,9×.
¿Cómo implementa el modelo GLM un millón de contextos?
Elevar el límite de contexto desde 200K a 1 millón de tokens es un problema de ingeniería, no un parámetro de configuración. Tres cambios son cruciales.
Atención esparsa de IndexShare
Cada cuatro capas de Transformer comparten un índice ligero. Se encuentra en la primera de las cuatro capas, y su índice top-k se repite en las otras tres — eliminando el punto de intersección del índice y el cálculo top-k en un cuarto de las capas. Resultado: cada token reduce 2.9 veces los FLOPs en un contexto de un millón de tokens. IndexShare se introdujo desde la mitad del entrenamiento con una longitud de secuencia de 128K.
MTP junto con IndexShare y KVShare
Las capas de predicción de múltiples tokens ejecutan el índice una vez en la primera etapa de borrador y luego reutilizan el índice en las etapas posteriores, eliminando la incompatibilidad de cacheo de KV entre el entrenamiento y la inferencia de la generación anterior. Combinado con muestreo de rechazo y pérdida de TV de extremo a extremo, la longitud aceptada aumenta de 4.56 a 5.47 — aproximadamente un 20% — a través de 7 pasos de MTP.
| Base | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + Rechazar muestreo | 5.29 |
| + Pérdida de TV de extremo a extremo | 5.47 (+20%) |
Servicio eficiente para millones de contextos
Después de más de cien mil tokens, el cuello de botella ya no es la computación, sino la capacidad de cacheo de KV, el núcleo de contexto largo y los costos de CPU. Tres reparaciones: gestión de memoria de nivel fino y paralelización basada en LayerSplit, optimización del núcleo de escalado de longitud del contexto coordinado con el tubo de transferencia de cacheo, y optimización de gestión de cacheo, programación de solicitudes y ajustes de rutas en tiempo de ejecución en el lado de CPU. La ventaja de capacidad aumenta con el crecimiento del contexto.
Ventaja de capacidad de salida normalizada
Entrenamiento de aprendizaje reforzado de agentes
El stack de entrenamiento (slime) combina rollout de caja blanca y caja negra, trayectorias compactas y flujos de trabajo de subagentes. El entrenamiento paralelo de OPD combina docenas de modelos expertos en aproximadamente dos días, y el cacheo de KV en FP8 asegura que el rollout no supere el presupuesto de memoria.
Hackers de recompensa inversa
El RL a largo plazo puede generar atajos, por lo que las acciones sospechosas se pasan primero a través de un filtro de recuperación basado en reglas, y luego se someten a una revisión de precisión exacta por parte de un LLM. Las actividades de hacking confirmadas se interceptan en línea y se responden con resultados de herramientas virtuales, permitiendo que el rollout continúe en lugar de ser descartado. El PPO basado en Critic mantiene la entrenabilidad de las subrutas compactas en un solo rollout.