O contexto de um milhão de tokens
Como os modelos GLM implementam e servem com eficiência uma janela de contexto de um milhão de tokens: atenção esparsa IndexShare, KVShare e MTP — a mudança-chave que corta os FLOPs por token em 2,9×.
Como o modelo GLM realiza milhões de contextos?
Aumentar o limite de contexto de 200K para 1 milhão de tokens é um problema de engenharia, não um parâmetro de configuração. Três mudanças são cruciais.
Atenção esparsa IndexShare
Cada quatro camadas do Transformer compartilham um LeveIndexador. Ele está localizado na primeira camada entre as quatro, e seu índice top-k é reused pelos outros três níveis — eliminando o ponto de Indexador e o cálculo top-k em um quarto das camadas. Resultado: cada token reduz a FLOPs em 2.9 vezes sob uma extensão de contexto de 1 milhão. O IndexShare foi introduzido a partir do meio do treinamento com uma extensão de sequência de 128K.
MTP em conjunto com IndexShare e KVShare
A camada de predição de múltiplos token executa uma vez o Indexador no primeiro passo do rascunho e reutiliza o índice nos passos subsequentes, eliminando a incompatibilidade de cache KV de treinamento/Raciocínio da geração anterior. Com a combinação de amostragem rejeitada e perda TV de extremo a extremo, a aceitação de comprimento aumenta de 4.56 para 5.47 — cerca de 20% — ao longo de 7 passos MTP.
| Baseline | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + Recusa de amostragem | 5.29 |
| + Perda de TV de extremo a extremo | 5.47 (+20%) |
Serviço eficiente para milhões de contextos
Depois de mais de alguns milhões de token, o gargalo não é mais a computação, mas a capacidade de cache KV, o núcleo de contexto longo e o consumo de CPU. Três correções: gerenciamento de memória de alta granularidade e paralelização baseados em LayerSplit, otimização do núcleo de escalonamento de comprimento de contexto em coordenação com o pipeline de transmissão de cache, e otimização de gerenciamento de cache, agendamento de solicitações e ajustes de caminho de execução do lado de CPU. A vantagem de capacidade de processamento aumenta à medida que o contexto cresce.
Vantagem de taxa de escoamento normalizada
Treinamento de aprendizado por reforço de agente
A stack de treinamento (slime) combina rollout white-box e black-box, trajetórias compactas e fluxos de trabalho de subagentes. O treinamento OPD paralelo fundiu mais de dez modelos especialistas em cerca de dois dias, com cache KV FP8 mantendo a memória de rollout dentro do orçamento.
Hackers de recompensa reversa
O RL de longo prazo pode gerar atalhos, portanto, ações suspeitas são primeiramente filtradas por um filtro de recall baseado em regras, seguidas por uma verificação de precisão do juiz LLM. Ações de hacker confirmadas são interceptadas online e respondidas com resultados de ferramentas virtuais, permitindo que o rollout continue em vez de ser descartado. O PPO baseado em Critic mantém a treinabilidade das sub-trilhas compactadas em um único rollout.