Контекст в миллион токенов
Как модели GLM реализуют и эффективно обслуживают окно контекста в 1 миллион токенов: разреженное внимание IndexShare, KVShare и MTP — ключевое изменение, снижающее FLOPs на токен в 2,9 раза.
Как GLM-модель реализует миллион контекстных единиц?
Повышение верхнего предела контекста с 200K до 1 миллиона token является инженерной проблемой, а не параметром конфигурации. Три изменения являются ключевыми.
Редукция внимания IndexShare
Каждые четыре слоя Transformer имеют ОбщийЛегкийИндексатор. Он расположен в первом слое из четырех, его top-k индекс используется другими тремя слоями — это устраняет точечное вычисление индексатора и top-k в трети слоев. Результат: количество FLOPs на каждый token уменьшается в 2,9 раза при длине контекста в 1 миллион. IndexShare был введен с середины обучения при длине последовательности 128K.
MTP в сочетании с IndexShare и KVShare
Много токенов предсказательного слоя запускаются один раз в первом черновике, а в последующих шагах повторно используют индекс, что устраняет ограничение на несоответствие между KV-кэшем обучения и дедукцией. В сочетании с отказом от сэмплирования и полным TV-потерями, длина принимается от 4.56 до 5.47 — около 20% —охватывающих 7 шагов MTP. Много токенов предсказательного слоя запускаются один раз в первом черновике, а в последующих шагах повторно используют индекс, что устраняет ограничение на несоответствие между KV-кэшем обучения и дедукцией. В сочетании с отказом от сэмплирования и полным TV-потерями, длина принимается от 4.56 до 5.47 — около 20% —охватывающих 7 шагов MTP. Много токенов предсказательного слоя запускаются один раз в первом черновике, а в последующих шагах повторно используют индекс, что устраняет ограничение на несоответствие между KV-кэшем обучения и дедукцией. В сочетании с отказом от сэмплирования и полным TV-потерями, длина принимается от 4.56 до 5.47 — около 20% —охватывающих 7 шагов MTP. Много токенов предсказательного слоя запускаются один раз в первом черновике, а в последующих шагах повторно используют индекс, что устраняет ограничение на несоответствие между KV-кэшем обучения и дедукцией. В сочетании с отказом от сэмплирования и полным TV-потерями, длина принимается от 4.56 до 5.47 — около 20% —охватывающих 7 шагов MTP.
| Базовый уровень | 4.56 |
| + IndexShare + KVShare | 5.10 |
| + Отказ от выбора | 5.29 |
| + Потеря TV от конца до конца | 5.47 (+20%) |
Эффективная служба для миллиона контекстов
После более чем нескольких десятков тысяч token узким местом уже не является вычисление, а это KV кэш емкость, долгий контекст ядро и CPU затраты. Три ремонта: основанные на LayerSplit детализированная память управление и параллелизация, оптимизация ядра масштабирования длины контекста, согласованное с кэш передающей трубой, и управление кэшем, планирование запросов и оптимизация маршрутов в runtime. Преимущество производительности растет с увеличением контекста.
Преимущество нормализации производительности
Обучение агента с помощью методов повышения обучения
Тренировка стека (slime) комбинирует белую коробку и черную коробку rollout, компактные трассы и подИскусственный интеллект workflow. Параллельное обучение OPD запримерно за два дня объединило более десятка экспертовМодель, FP8 KV кэш гарантирует, что память rollout не exceeds бюджет.
Противоположные хакеры
Длинный цикл RL может привести к поиску кратчайших путей, поэтому подозрительные действия сначала проходят через фильтр вызова на основе правил, а затем проверяются на точность с помощью LLM. Подтвержденные хакерские действияблокируютсяаются в онлайн-режиме и отвечаются результатами виртуальных инструментов, что позволяет продолжить rollout, а не выбросить его. PPO на основе Critic поддерживает обучаемость сжатых подтраекторий на одном rollout.