Насколько надёжен вывод об ускорении ИИ: тесты, токены и статистические модели в исследовании METR

Вывод об ускорении развития ИИ нельзя свести к одной цифре. В доступной публикации METR рост возможностей измеряют через временной горизонт задач, а пересказ внутреннего анализа Anthropic, приведённый в исходных материалах, оценивает ускорение по индексу IC. Это разные метрики, наборы тестов и статистические процедуры, поэтому их результаты нельзя механически объединять.

Одна цифра здесь ничего не решает.

Оценка ускорения становится устойчивой только после проверки состава тестов, объёма вычислений во время выполнения и выбранной математической модели. Данные должны выдерживать сравнение с альтернативными спецификациями, удалением отдельных заданий и разными порогами успешности. Иначе итоговый показатель описывает прежде всего особенности измерительной процедуры, а не темп развития систем.

Какие данные использовала METR и почему длина задачи влияет на результат

В публичной работе METR временной горизонт задачи определён как продолжительность работы, которую обычно выполняет квалифицированный человек, если модель решает такую задачу с заданной вероятностью успеха. Основной показатель равен времени, при котором агент успешно завершает задачу примерно в половине попыток. Исследователи объединили задачи из HCAST, RE-Bench и набора коротких программных действий SWAA, после чего сопоставили результаты моделей с оценками времени человеческих специалистов.

Такой подход отличается от обычного процента правильных ответов. Модель, которая решает 80 процентов коротких вопросов, не обязательно способна надёжно выполнить многочасовой проект. В публичной работе METR использовала 170 задач с длительностью от секунд до десятков часов, более 800 человеческих базовых попыток и несколько запусков каждого сочетания модели и задачи. Авторы оценивали не только ответ, но и успешное выполнение целого задания, включая работу с инструментами, исправление ошибок и сохранение результата.

Длина выполнения влияет на итог через человеческую шкалу сложности. Если разработчик тратит на задачу один час, а модель справляется с ней в половине запусков, она получает условный горизонт около часа. Однако это не означает, что модель самостоятельно работает один час без остановки или заменяет специалиста на любом проекте такой длительности. На результат влияют структура задачи, качество обратной связи, доступные инструменты и требования к надёжности.

Временной горизонт показывает связь между вероятностью успеха и длительностью человеческой работы, а не универсальную границу автономности. Задание с понятными шагами, инструментами и проверяемым результатом устроено иначе, чем открытый проект, где нужно самому сформулировать цель, выбрать метод и оценить качество решения. Поэтому одинаковый горизонт для двух наборов задач не делает их содержательно эквивалентными.

Тестовые потолки и слишком лёгкие задания искажают кривую прогресса

Бенчмарк теряет измерительную силу, когда новые модели начинают уверенно проходить почти все его задания. Процент правильных ответов приближается к верхнему пределу, а реальное улучшение уже не отражается в шкале. Именно поэтому результаты отдельных тестов могут показывать резкий скачок, хотя измерялся не общий интеллект модели, а переход от неполного к почти полному прохождению конкретного набора.

В исходном пересказе указано, что Model 4 якобы преодолела отметку 50 процентов сразу в 15 тестах, тогда как более ранняя модель не достигала этого уровня по нескольким направлениям. Это сообщение нельзя считать подтверждённым универсальным фактом: сама Model 4 описана как внутренняя модель, а исследователи, по приведённым материалам, не имели прямого доступа к ней. Такой результат уместно рассматривать как утверждение внутреннего анализа, а не как независимое измерение.

После исключения отдельных тестов, включая OSWorld и MMU, либо заданий, где модели уже прошли порог 85 процентов, оценка ускорения, по пересказу отчёта, оставалась примерно в диапазоне от 1,9 до 2,2 раза. Это поддерживает аргумент о том, что вывод не держится на одном тесте, но не устраняет проблему отбора заданий: удаление неудобных наборов меняет не только шум, но и сам объект измерения.

Необычная форма кривых результатов также требует осторожности. Она может указывать на недостатки заданий, неоднородность их сложности или наличие небольшой группы исключительно трудных задач, которые непропорционально влияют на итоговый индекс. Пока причина не установлена, гладкую линию ускорения нельзя воспринимать как прямое отражение траектории базовых способностей.

Логистическая, probit и альтернативные статистические модели

Статистическая модель определяет, как результаты отдельных тестов превращаются в оценку темпа. Логистическая функция дала ускорение около 1,9 раза, probit-модель дала примерно 1,8, другие методы показали значения от 2,6 до 2,9 раза, а при отдельных предположениях показатель снижался до 1,1 раза. Разброс возник не потому, что одна модель обязательно ошибочна, а потому, что близкие по качеству описания данных по-разному продолжают кривую за пределами наблюдаемого диапазона.

По приведённым данным, все рассматривавшиеся модели описывали проверочные выборки примерно с точностью 87 процентов. Это важная оговорка: одинаковая точность внутри доступного диапазона не доказывает одинаковую надёжность прогноза за его пределами. Когда данных мало, несколько функций могут одинаково хорошо проходить через наблюдаемые точки, но давать разные оценки ускорения при экстраполяции.

METR сохранила стандартный логистический метод и отдельно признала неопределённость результата. Такой выбор не превращает показатель 1,9 в единственно правильное значение. Корректнее говорить о центральной оценке конкретной модели и показывать, насколько меняется вывод при альтернативной спецификации, исключении тестов и изменении порогов успешности.

Что произошло с оценкой после исключения отдельных тестов

Исключение тестов может работать в двух направлениях. Оно убирает задания, которые создают искусственный потолок или имеют необычную структуру, но одновременно сокращает объём данных и повышает зависимость результата от оставшейся выборки. Устойчивость оценки проверяют не одним удалением, а серией заранее описанных абляций, где фиксируют состав исключённых задач и изменение итогового показателя.

В материалах упоминается показатель Model 4, который после исключения трёх тестов изменился с 1786 до 179,7 балла. Такая запись выглядит внутренне противоречивой, поскольку порядок чисел неясен и, вероятно, содержит ошибку пересказа или форматирования. Делать из неё количественный вывод нельзя. Само наблюдение об изменении индекса после удаления тестов остаётся полезным как указание на чувствительность метрики.

Индекс IC объединяет результаты множества тестов в один показатель, но скрывает распределение ошибок. Две модели могут получить близкие баллы, если одна хорошо проходит математические задачи, а другая выигрывает за счёт агентного программирования. Для анализа ускорения нужно видеть не только итоговый IC, но и отдельные кривые, пороги, число попыток и правила обработки пропусков.

Как вычислительные ресурсы меняют результат

Результат теста зависит не только от того, какая модель отвечает, но и от того, сколько вычислений она получает во время решения. В исходном пересказе для внутренних заданий Anthropic указаны примерно 2,5 миллиона входных и 72 тысячи выходных токенов, для агентного программирования около 10 миллионов входных и 94 тысяч выходных токенов, а для тестов Apple, включая JPQA, AMA и S Bench, примерно 500 тысяч входных и 10 тысяч выходных токенов.

В длительных программных заданиях METR расход выходных токенов, по приведённой оценке, может достигать 650 тысяч. Эти величины нельзя сравнивать как простую цену одного ответа: входные токены включают историю, код, результаты инструментов и повторно передаваемый контекст, а выходные токены отражают рассуждения, действия агента и исправления. Два запуска одной модели при разном бюджете вычислений фактически представляют разные режимы системы.

Чем больше вычислений получает модель на этапе выполнения, тем выше её шанс решить сложную задачу, особенно если задача допускает проверку промежуточного результата и исправление ошибок. Исследователи предполагают, что дополнительные вычисления могут улучшать результаты разных поколений моделей примерно сходным образом, однако это предположение нельзя считать доказанным для всех доменов. На математических задачах усиленный режим иногда даёт существенный прирост, тогда как в плохо структурированной работе дополнительные рассуждения не заменяют отсутствующую информацию или неверно выбранный план.

Здесь важно разделять несколько источников улучшения. Ускорение может отражать рост базовых способностей модели, более эффективное использование токенов, улучшение агентного каркаса или увеличение разрешённого бюджета рассуждений. Если новые модели научились извлекать больше пользы из того же объёма вычислений, наблюдаемая кривая будет выглядеть круче даже без пропорционального роста всех фундаментальных навыков.

Как читать бенчмарки ИИ без ложной точности

1. Проверяйте сущность метрики. Процент правильных ответов, временной горизонт, индекс IC и стоимость запуска измеряют разные свойства системы.
2. Смотрите на потолок теста. Если большинство моделей уже находится около 85 или 100 процентов, набор плохо различает следующие поколения.
3. Уточняйте режим вычислений. Нужно знать лимит токенов, число попыток, доступ к инструментам, контекст и правила остановки агента.
4. Сравнивайте несколько моделей статистики. Одна кривая может быть удобной для отчёта, но альтернативные функции показывают диапазон методической неопределённости.
5. Отделяйте интерполяцию от экстраполяции. Хорошее описание известных данных не гарантирует точный прогноз за пределами наблюдаемого периода.
6. Ищите устойчивость к удалению тестов. Если вывод меняется после исключения одной группы заданий, это свойство оценки нужно указывать рядом с итоговой цифрой.
7. Не переносите результат на весь интеллект. METR в публичной работе изучала главным образом программные и исследовательские задачи, а более «грязные» задачи с неопределённой средой давались моделям хуже.

Что именно измеряет итоговая цифра? Ответ зависит от конструкции исследования: публичное исследование METR сообщает о росте временного горизонта моделей примерно вдвое за семь месяцев на выбранном наборе программных задач, тогда как приведённый внутренний анализ Anthropic оценивает ускорение по другой метрике и с заметной зависимостью от статистической модели. Эти результаты совместимы с гипотезой ускорения, но не доказывают, что все способности ИИ растут с одинаковой скоростью.

Наиболее точная формулировка такова: данные указывают на быстрый прогресс в ряде агентных и программных задач, а размер ускорения остаётся чувствительным к тестам, вычислительному бюджету и способу моделирования. Именно эти условия, а не одна цифра в заголовке, определяют, насколько вывод пригоден для прогноза.

Частые вопросы

Доказывает ли показатель 1,9 раза ускорение всего ИИ?

Нет. Это оценка конкретного анализа, набора тестов и выбранной статистической модели. Она не равна темпу роста всех моделей, всех задач или всей индустрии.

Почему результаты разных моделей статистики расходятся?

Они по-разному описывают вероятность успеха около порога и за пределами наблюдаемых данных. При похожей точности на проверочной выборке функции могут давать разные прогнозы ускорения.

Можно ли считать рост временного горизонта METR доказательством появления автономного исследователя?

Нет. Временной горизонт показывает вероятность выполнения задач определённой человеческой длительности. Он не подтверждает автономность в реальной научной среде, где важны постановка целей, проверка новизны, ответственность и работа с неопределённостью.