Ускорение развития ИИ в Anthropic: что показывает оценка METR

Оценка METR описывает не «интеллект Anthropic» как единое свойство, а изменение темпа роста возможностей моделей компании. В пересказе отчёта утверждается, что после октября 2025 года этот темп заметно увеличился, однако доступные материалы не позволяют независимо проверить все исходные данные и скрытые приложения исследования.

Короткий вывод: показатель ускорения около 1,9 раза выглядит существенным, но не доказывает появление сверхразума, полного самоулучшения ИИ или неизбежного перехода к автономным исследованиям.

Что измеряет индекс IC Anthropic

Индекс IC Anthropic, по описанию в пересказе отчёта, объединяет результаты множества тестов в один показатель. METR использовала его, чтобы оценить, насколько быстро менялись возможности моделей Anthropic в разных направлениях, а не измерить общий интеллект напрямую.

Такой индекс удобен для анализа динамики: исследователь сравнивает значения в разные моменты времени и оценивает наклон кривой. Итоговая цифра зависит от состава тестов, их сложности, порогов успешного выполнения и того, как методика учитывает модели, уже близкие к верхней границе конкретного задания.

IC нельзя напрямую трактовать как универсальную шкалу интеллекта. Модель способна улучшить результат в задачах с автоматической проверкой и почти не измениться в открытой научной работе, где требуются постановка проблемы, выбор гипотезы и оценка неожиданных результатов.

Как изменился темп развития Anthropic

До октября 2025 года модели Anthropic, согласно пересказу METR, прибавляли около 15 баллов IC в год. После предполагаемого перелома оценка выросла примерно до 29 баллов в год.

Математический анализ датировал переломный момент 7 октября 2025 года. Конкретная модель с новым уровнем возможностей в этот день не обязательно выходила: статистическая процедура ищет точку изменения тренда и связывает её с периодом, а не непременно с одним релизом или технологическим решением.

В пересказе приводится и другое сравнение: за год после перелома Anthropic получила примерно такой же прирост возможностей, на который раньше требовалось два года. Сопоставление относится к отрезку с октября 2023 по октябрь 2025 года, поэтому его нельзя превращать в прогноз, что каждые следующие двенадцать месяцев компания будет проходить ещё два прежних годовых шага.

Почему оценка равна не ровно 1,9

Число 1,9 представляет собой центральную оценку. Для ускорения METR указала интервал от 1,5 до 2,8 раза с 95-процентной статистической уверенностью. Он показывает, что неопределённость вокруг результата велика, а не что вероятность любого значения внутри диапазона одинакова.

На итог влияют выбор статистической модели и состав тестов. В пересказе указано, что логистическая модель дала ускорение 1,9 раза, probit-модель дала около 1,8, другие методы давали более высокие значения, а при отдельных предположениях показатель снижался до 1,1 раза. Исследователи сохранили стандартный логистический подход, поскольку разные модели похоже описывали проверочные данные, но признали неопределённость результата.

Проверки устойчивости не устраняют методологический риск. После исключения отдельных тестов, включая OSWorld и MMU, либо задач, где модели уже преодолели порог 85 процентов, оценка оставалась примерно в диапазоне 1,9–2,2 раза. Расчёт всё равно не превращается в прямое наблюдение за темпом исследований внутри компании.

Почему Anthropic и индустрия дают разные цифры

В технической документации Haiku 5.5 Anthropic ранее оценивала ускорение примерно в 1,7 раза. METR получила около 1,9, потому что включила неопубликованные модели и учитывала момент, когда они становились доступны большинству сотрудников, а не только дату публичного релиза.

Разница между оценкой одной компании и оценкой всей отрасли ещё заметнее. Когда в расчёт включили передовые модели OpenAI, Google, xAI и других разработчиков, темп роста увеличился с 17 до 24 баллов IC в год. Это соответствует ускорению примерно в 1,4 раза, то есть ниже результата Anthropic.

У такого расхождения есть несколько возможных объяснений, и METR, согласно пересказу, не выбрала одно из них. Anthropic могла быстрее догонять конкурентов, другие компании могли раньше лучше оптимизировать модели под отдельные тесты, а различия могли возникнуть из-за состава данных и доступности внутренних версий.

Помогает ли ИИ создавать следующие модели

Из отчёта следует интерпретация, что ИИ уже ускоряет работу специалистов, разрабатывающих следующее поколение моделей. В интервью сотрудники описывали переход от небольших фрагментов кода под постоянным контролем к параллельному запуску нескольких агентов, которым поручают разные задачи.

По рассказам сотрудников, ИИ берёт на себя написание и исправление кода, подготовку инфраструктуры и часть экспериментальной работы. Один из участников оценивал рост собственной производительности более чем вдвое, другой связывал значительную часть пользы с сокращением времени между идеей и экспериментом, а отдельные оценки вклада ИИ находились в диапазоне от 15–20 до 50–80 процентов.

Эти свидетельства нельзя смешивать с измерением темпа разработки моделей. Субъективная оценка сотрудника показывает восприятие собственной эффективности, но не отделяет вклад ИИ от найма новых специалистов, увеличения вычислительных ресурсов, изменений процессов и удачного выбора задач.

METR, по пересказу, не считает полностью автономные исследования достигнутыми. ИИ всё ещё не способен без участия человека вносить действительно значительный вклад во все наиболее важные этапы обучения передовых моделей, включая постановку исследовательской задачи и проверку того, что найденное решение работает за пределами удобного теста.

Что ограничивает надёжность вывода

Публичная версия отчёта не содержит части наиболее информативных материалов. Anthropic получила право удалять конфиденциальные сведения, а из текста исчезли подробные оценки алгоритмического прогресса, возможных ограничений и прогнозов будущих возможностей. Читатель видит методику и итоговые числа не в том объёме, который нужен для полноценного воспроизведения анализа.

Есть и хронологическая проблема. В переданных материалах одновременно упоминаются оценки до октября 2025 года, проверка данных в 2026 году и модели с номерами, которым приписываются даты 2026 года. Без дополнительного оригинального документа эти сведения нельзя объединить в одну непротиворечивую временную шкалу, поэтому названия и характеристики секретных моделей следует считать неподтверждёнными.

• METR не имела прямого доступа к предполагаемой Model 4 и не могла проверять её в диалоге или на задачах.
• Сообщения о баллах Model 4, её сроках и возможной связи с другими названиями остаются слухами.
• Прогнозы появления сверхразума через несколько месяцев или один-два года не следуют из оценки ускорения.
• Оценка вклада ИИ около 80 процентов описана как предварительная и не подтверждена сравнением с альтернативной компанией без ИИ.
• Сам отчёт, по доступному пересказу, не полностью соответствует требованиям прозрачности независимых оценок.

Какие выводы подтверждены, а какие являются интерпретациями

Что оценка METR означает для руководителей AI-команд

Практический смысл результата не в множителе 1,9, а в необходимости измерять, какие участки цикла разработки действительно ускоряются. Команде важно разделять скорость написания кода, количество проведённых экспериментов, качество гипотез, стоимость вычислений, время проверки и число ошибок, которые обнаруживаются уже после внедрения.

Если ИИ ускоряет генерацию экспериментов, узким местом становится не программирование, а отбор хороших идей, доступ к вычислениям и независимая проверка результатов. Одновременно растёт риск, что тесты начнут отставать от реальных возможностей моделей: задания, которые недавно различали сильные и слабые системы, могут стать слишком простыми и перестать показывать дальнейший прогресс.

Для исследователей это означает необходимость повторять измерение на новых наборах задач, раскрывать чувствительность результата к статистической модели и отдельно оценивать вклад ИИ, кадрового роста и вычислительных ресурсов. Руководителям безопасности нужен другой ответ: успевают ли проверки, red teaming и анализ новых возможностей за темпом, с которым модели начинают помогать создавать своих преемников.

FAQ

Действительно ли Anthropic стала развивать ИИ в 1,9 раза быстрее?

По оценке, приписанной METR, темп роста показателя IC увеличился примерно в 1,9 раза. Это не измерение общей скорости работы компании и не гарантия такого же ускорения в будущем.

Доказывает ли отчёт самоулучшение ИИ?

Отчёт поддерживает более осторожный вывод: ИИ мог ускорить отдельные этапы работы людей, создающих новые модели. Доказательства полностью автономного рекурсивного самоулучшения в доступном пересказе отсутствуют.

Почему для всей индустрии получилась цифра 1,4 раза?

После включения моделей других разработчиков темп изменился с 17 до 24 баллов IC в год. Более широкая выборка сгладила результат Anthropic и показала, что ускорение нельзя без дополнительных оснований переносить на весь рынок.

Насколько точна оценка от 1,5 до 2,8 раза?

Это интервал статистической неопределённости, а не обещанный диапазон будущего роста. Он показывает, что центральная оценка 1,9 зависит от данных, тестов и выбранного метода анализа.

Итог

Пересказ отчёта METR даёт серьёзный сигнал: скорость улучшения моделей Anthropic могла вырасти после октября 2025 года, а ИИ, вероятно, уже влияет на работу исследовательских команд. Сила вывода ограничена закрытыми данными, неполной воспроизводимостью, зависимостью от выбранного индекса и смешением измеренных результатов с интервью и прогнозами.

Корректная формулировка звучит так: METR оценила ускорение темпа роста возможностей Anthropic примерно в 1,9 раза, а для всей индустрии получила около 1,4 раза. Это важный эмпирический результат для дальнейшей проверки, но не доказательство появления сверхразума и не точный календарь будущего развития ИИ.