Плюс 30 пунктов за год: измеряют ли ИИ-бенчмарки то, что действительно важно?

2026-11-04 · Источник：Unite AI

Отчет Stanford AI Index 2026 фиксирует рост результатов frontier-моделей примерно на 30 процентных пунктов за год на Humanity's Last Exam, что ставит вопрос: отражают ли ориентированные на задачи бенчмарки действительно важные вещи.

Рейтинг ИИ-моделей вступил в состояние почти постоянной ротации: каждые несколько месяцев появляется новая модель, всякий раз перетасовывающая расстановку сил. Темпы этой ротации получили количественную оценку в отчете Stanford AI Index за 2026 год, согласно которому frontier-модели за один год прибавили около 30 процентных пунктов на бенчмарке Humanity's Last Exam — тесте, специально спроектированном так, чтобы быть трудным для ИИ. Скачки возможностей, которые раньше требовали лет разработки, теперь укладываются в считанные месяцы.

Внутри индустрии каждый новый высокий результат воспринимается как доказательство того, что ИИ становится лучше. Автор статьи не оспаривает реальность прогресса, признавая, что эти системы впечатляюще справляются с тем, для чего были созданы. Озабоченность касается иного: того, что на самом деле демонстрируют эти баллы, и измеряют ли стоящие за ними бенчмарки правильные вещи.

Эта озабоченность опирается на проводимое в статье различие между оценкой, ориентированной на задачи, и оценкой, ориентированной на человека. Humanity's Last Exam создавался как трудный для машин, а это значит, что растущие баллы измеряют, насколько хорошо модели справляются с искусственным вызовом, сконструированным специально для них, — а не насколько они полезны людям, которые в конечном счете их используют. Центральный тезис статьи: следующим бенчмарком для ИИ должны стать сами люди, то есть оценка должна сместиться в сторону соответствия человеку, а не машинной сложности.

Для области, построившей нарратив о своем прогрессе на позициях в рейтингах, этот аргумент звучит в судьбоносный момент. Если за год можно набрать около 30 пунктов на тесте, созданном специально для того, чтобы сопротивляться ИИ, то насущным вопросом может оказаться уже не то, как быстро улучшаются модели, а то, отражает ли мерила то, что улучшение в действительности должно означать.

Теги: Stanford AI Index · Humanity's Last Exam · AI Benchmarks · Model Evaluation

萬安算交所 AIXX · AIXX · Верифицированная биржа · В торговый зал