100万トークンコンテキスト
GLM モデルが100万トークンのコンテキストウィンドウを実現し効率的に提供する仕組み：IndexShare スパースアテンション、KVShare、MTP — トークンあたりのFLOPsを2.9倍削減する鍵となる変更。
GLMモデルはどうやって百万のコンテキストを実現していますか？
コンテキストの上限を200Kから100万トークンに引き上げるのは、設定パラメータではなく技術的な問題です。3つの変更が鍵となります。
IndexShare スパースアテンション
4つのTransformer層ごとに軽量インデックスエンジンを共有します。これは最初の層に位置し、top-kインデックスは残りの3層で共有されるため、4分の3の層でのインデックスエンジンの点積とtop-k計算を省略します。結果として、100万のコンテキスト長さで、各トークンのFLOPsは2.9倍に低下します。IndexShareはトレーニング中期の128Kシーケンス長さから導入されました。
MTPとIndexShare、KVShareの組み合わせ
多トークン予測層は最初の草稿ステップでインデックスエンジンを実行し、その後のステップでインデックスを再利用し、前世代のトレーニング/推論のKVキャッシュの不適合を解消します。拒絶サンプリングとエンドツーエンドのTV損失を組み合わせ、長さは4.56から5.47に増加し、約20%、7つのMTPステップを越えます。
| ベースライン | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + サンプルを拒否 | 5.29 |
| + 端到端 TV 損失 | 5.47 (+20%) |
百万上下文に対する効率的なサービス
数十万トークンを超えると、ボトルネックは計算ではなく、KVキャッシュ容量、長いコンテキストのカーネル、CPUコストになります。三つの修正として、LayerSplitに基づく微細なメモリ管理と並列化、キャッシュ伝送パイプラインと調整されたコンテキスト長さのスケーリングカーネル最適化、CPU側のキャッシュ管理、リクエストスケジューリング、ランタイムパスの最適化があります。スループットの利点はコンテキストの増加に伴って拡大します。
正規化通量の利点
エージェント強化学習トレーニング
トレーニングスタック（slime）は、白盒とブラックボックスのrollout、コンパクトな軌跡とサブエージェントのワークフローを組み合わせています。並行OPDトレーニングは約2日で10数個の専門モデルを統合し、FP8 KVキャッシュはrolloutのメモリ予算を超えないことを確保します。
反報酬ハッカーズ
長期のRLは短絡を引き起こすため、まずルールに基づく召回フィルタを通じて疑わしいアクションを先にし、その後LLMの精度チェックを通じて正確に評価します。確認されたハッキング行為はオンラインでインターセプトされ、仮想ツールの結果で応答し、rolloutが継続されることを確保します。Criticに基づくPPOは単一のrolloutでトレーニング可能な子トレイルを圧縮します。