Бенчмарки GLM
Официальные результаты бенчмарков моделей GLM: 17 тестов по программированию, кибербезопасности и агентным задачам, все из открытых отчётов авторов, в сравнении с Claude, GPT, Kimi и DeepSeek.
Бенчмарки GLM 5.3: длинные горизонты и безопасность
Данные опубликованы официальной документацией Zhipu и независимым оценщиком Artificial Analysis. glmmodel.cn лишь приводит их.
CyberGym
Поиск уязвимостей в исходном коде
Z.ai Code Bench
Агентный кодинг: выше точность, меньше токенов
Terminal-Bench 3.0
Терминальные агентные задачи (GLM-5.2: 4,6)
GLM-5.3 превосходит GLM-5.2 на Terminal-Bench 3.0 (4,6→28,3), DeepSWE v1.1 (46,2→66,9) и Agents’ Last Exam (23,8→28,5), достигая SOTA среди open-source; на ExploitBench — 54,4 %, более чем вдвое выше GLM-5.2. GLM-5.3-Flash набрал 57 баллов в индексе Artificial Analysis (№4 в мире) — на уровне Claude Opus 4.8.
GLM-5.3 против моделей сравнения — бенчмарки
Опубликованные базовые результаты моделей GLM, охватывающие 17 оценок для 8 моделей.
| Benchmark | GLM-5.3 | GLM-5.2 | Kimi K3 | DeepSeek-V4-Pro | Qwen3.8-Max | Opus 4.8 | Fable 5 | GPT-5.6 Sol |
|---|---|---|---|---|---|---|---|---|
| Кодинг | ||||||||
| Terminal-Bench 2.1 | 88.2 | 81.0 | 88.3 | 87.9 | 86.6 | 85.0 | 88.0 | 88.8 |
| Terminal-Bench 3.0 | 28.3 | 4.6 | 17.4 | – | – | 21.1 | 33.7 | 34.6 |
| DeepSWE v1.1 | 66.9 | 46.2 | 67.5 | 62.7 | 56.6 | 58.0 | 69.7 | 72.7 |
| NL2Repo | 58.0 | 48.9 | 58.0 | 61.1 | 55.9 | 69.7 | – | – |
| ProgramBench (Almost Solved) | 19.0 | 9.5 | 17.5 | – | 10.5 | 15.5 | 33.0 | 23.0 |
| FrontierSWE | 78.1 | 67.5 | – | – | – | 66.5 | 88.2 | – |
| SWE-Marathon v1.1 | 42.5 | 19.4 | 48.1 | – | – | 48.8 | 33.1 | 42.5 |
| PostTrainBench | 39.8 | 31.7 | 32.0 | – | – | 32.9 | 41.8 | 36.2 |
| Кибербезопасность | ||||||||
| CyberGym | 84.5 | 77.2 | 80.0 | 83.3 | 78.5 | 78.1 | 83.8 | 83.6 |
| ExploitGym 2h / 6h | 105 / 130 | 29 / 39 | 36 / 70 | – | 14 / 26 | 80 / 120 | 181 / 247 | 216 / 293 |
| ExploitBench | 54.4 | 24.4 | 32.2 | – | 28.8 | 40.0 | 78.0 | 76.5 |
| Агенты | ||||||||
| Toolathlon Verified | 73.0 | 59.9 | 76.5 | 74.1 | 72.5 | 76.2 | 74.7 | 74.9 |
| AutomationBench v1.0.6 | 48.2 | 26.2 | 46.7 | 43.2 | 39.8 | 41.0 | 46.2 | 45.8 |
| Agents' Last Exam (ALE-CLI) | 28.5 | 23.8 | 27.6 | 25.7 | 27.0 | 25.7 | 23.8 | 28.6 |
| HLE w/ Tools | 62.5 | 54.7 | 59.8 | 60.0 | 56.2 | 57.9 | 63.9 | 64.5 |
| GDPval-AA v2 | 1769 | 1508 | 1682 | 1590 | 1739 | 1588 | 1743 | 1730 |
Источник: официальный блог Z.ai (14.08.2026).