Как оценивать ИИ-агентов для управления компьютером: бенчмарки, действия и скрытые режимы

Оценка ИИ-агента для управления компьютером сравнивает, как модель воспринимает интерфейс, планирует шаги и выполняет задачу в приложениях при минимальном участии человека. Одного процента успешных запусков недостаточно: результат зависит от набора заданий, доступных инструментов, памяти, режима рассуждений, правил остановки и того, что организаторы считают успехом.

Главный практический вопрос звучит иначе: сможет ли агент стабильно выполнить нужный рабочий сценарий в вашей среде, а не только решить похожую задачу в лабораторной песочнице?

Какие задачи измеряют разные бенчмарки

Если опираться на приведённое автором описание теста, бенчмарк Screenshot Pro оценивает работу агента по снимкам экрана и действиям в графическом интерфейсе. Такая проверка ближе к управлению компьютером: модель должна распознать элементы окна, выбрать координаты или команду и продолжить выполнение после изменения состояния экрана.

В пересказанном эксперименте Astra получила в Screenshot Pro почти 93%, а предыдущая GPT-5.6 Soul показала около 77%. Эти значения относятся к конкретному тестовому протоколу, приписанному автору, и не образуют универсальный рейтинг моделей. Без состава заданий, числа запусков, правил обработки ошибок и доверительных интервалов разница между системами остаётся ориентиром, а не окончательным доказательством превосходства.

В представлении автора обзора OSWorld проверяет выполнение задач в компьютерных приложениях. В приведённом сравнении показатель вырос примерно с 66% у Soul до 73% у Astra. Такой тест автор относит к проверкам, более близким к пользовательскому сценарию, чем абстрактная задача на рассуждение. Однако без первичного описания протокола нельзя независимо подтвердить полный состав заданий и переносить результат на конкретный корпоративный процесс с реальными правами доступа, данными и ограничениями.

Automation Bench предназначен для более длинных профессиональных workflow. В описанном автором сравнении Soul выполнила около 18% заданий, а Astra около 41%. Если задания действительно включали несколько приложений, промежуточные проверки и длинную последовательность действий, этот результат говорит о заметном росте устойчивости на сложных маршрутах. Он не показывает, сколько времени заняла каждая попытка, сколько стоила обработка и кто исправлял ошибки.

В представлении автора обзора ARC AGI относится к отдельной категории тестов, где проверяют решение новых абстрактных задач, а не управление привычными офисными программами. В стандартном режиме Astra, по словам автора, получила 63%, а в специальном режиме с сохранением собственных заметок и внутренних рассуждений результат достиг 99,9%. Сравнивать эти показатели с OSWorld или Screenshot Pro напрямую нельзя, поскольку они, согласно описанию автора, измеряют разные способности и используют разные условия доступа к прошлому состоянию.

Почему проценты разных тестов нельзя складывать

Процент успешных заданий имеет смысл только внутри описанного протокола. Значение 73% в OSWorld не означает, что агент выполнит 73% любых офисных задач, а показатель 93% в Screenshot Pro не превращает модель в универсального оператора компьютера. На итог влияют сложность сценариев, интерфейс, наличие структурированных инструментов, способ проверки результата и допустимое количество попыток.

Корректное сравнение начинается с матрицы условий. В неё заносят название модели, версию, системные инструкции, доступные инструменты, разрешённую память, число попыток, лимит времени, критерий успеха и факт вмешательства оператора. Если хотя бы один из этих параметров меняется, результаты относятся к разным экспериментам.

Действия, время и вмешательство человека

Итоговая точность описывает только один слой качества. Агент может завершить задачу правильно, но сделать сотни лишних кликов, несколько раз открыть не те окна, потратить часы на поиск элемента или остановиться после подсказки человека. Для внедрения такой результат часто хуже, чем чуть менее точная модель, которая действует коротко, предсказуемо и передаёт управление оператору в понятной точке.

В пересказе эксперимента указано, что на 96% уровней ARC AGI Astra использовала меньше действий, чем средний человек. Этот показатель относится к конкретному набору уровней и определению действия, которое применяли организаторы. Он не означает, что модель быстрее человека во всех интерфейсах: клик, ввод текста, прокрутка, вызов инструмента и внутренний шаг планирования могут считаться по-разному.

Практическая метрика должна разделять как минимум четыре величины: долю успешно завершённых задач, медианное время, количество действий и число обращений к человеку. Для длинного сценария полезно добавлять стоимость одного успешного результата, долю необратимых ошибок и время, которое оператор тратит на проверку. Если задача длится 4–8 часов, один высокий процент завершения мало говорит о готовности к автономной работе, когда более половины успешных заданий требуют хотя бы одного вмешательства человека, как утверждается в описании проведённого эксперимента.

А что будет, если журнал действий не содержит момента передачи управления человеку? Такой тест нельзя нормально сопоставить с системой, которая фиксирует каждое подтверждение, исправление и повторную попытку. В отчёте нужно указывать не только факт вмешательства, но и его тип: подсказка, исправление ввода, разблокировка окна, подтверждение опасного действия или полное продолжение задачи оператором.

Память, заметки и специальный режим

Разница между стандартным и специальным режимом ARC AGI показывает, насколько сильно протокол способен изменить результат. Если между запросами сохраняются заметки, промежуточные выводы или внутреннее состояние, агент получает дополнительный ресурс, которого нет у системы с чистым контекстом. Это полезно для изучения архитектуры, но такой результат нельзя выдавать за качество модели в обычном режиме.

По словам автора, исследователи ARC описывали поведение Astra как построение компактной символьной модели незнакомой среды и введение собственных сокращений для планирования. Это наблюдение следует представлять именно как интерпретацию исследователей, пересказанную автором, а не как установленное универсальное свойство всех запусков. Для проверки гипотезы нужно сохранять трассы, сравнивать режимы с заметками и без них, а также проверять, использует ли агент найденные обозначения в новых задачах.

Сохранённая память может повышать не только способность модели, но и её накопленное преимущество. Агент, который уже записал структуру интерфейса, названия кнопок и успешный маршрут, решает следующий сценарий иначе, чем агент, начинающий с чистого состояния. По этой причине в отчёте разделяют режим без памяти, режим с внешними заметками, режим с историей предыдущих попыток и режим с внутренним состоянием, если организаторы его предоставляют.

Шаблон собственного тестирования

Компании, которая выбирает компьютерного агента для внедрения, стоит строить тест не вокруг эффектной демонстрации, а вокруг набора повторяемых рабочих сценариев. В каждый сценарий включают начальное состояние, входные данные, ожидаемый результат, разрешённые действия и условия безопасной остановки.

1. Опишите задачу. Зафиксируйте цель в терминах результата: создать отчёт, найти запись, перенести данные или подготовить черновик. Не ограничивайтесь формулировкой «поработать в CRM».
2. Подготовьте одинаковую среду. Используйте отдельные тестовые аккаунты, заранее определённые права, одинаковые версии приложений и очищенную историю браузера.
3. Разделите режимы. Проведите отдельные серии без памяти, с внешним журналом, с разрешёнными инструментами и с обычным управлением через экран.
4. Повторите каждый сценарий. Один удачный запуск не показывает устойчивость. Сравнивайте серию попыток на новых данных и фиксируйте причины каждого сбоя.
5. Запишите полный журнал. Сохраняйте экранные состояния, действия, время, ошибки, запросы подтверждения, стоимость вычислений и момент вмешательства человека.
6. Проверьте безопасность. Отдельно тестируйте удаление, отправку писем, изменение финансовых данных, публикацию материалов и действия с персональной информацией.

Сценарии лучше делить на короткие, средние и длинные. Короткий сценарий проверяет точность отдельного действия, средний выявляет ошибки планирования, а длинный показывает деградацию памяти, накопление неверных решений и нагрузку на оператора. Такой дизайн теста помогает понять, где именно агент теряет качество, вместо того чтобы скрывать все сбои одной итоговой цифрой.

Какие выводы допустимы

Из приведённых автором результатов допустим осторожный вывод: по заявленным значениям Astra лучше справлялась с рядом задач в графическом интерфейсе, компьютерных приложениях и сложных workflow, чем сравниваемая Soul. Также можно обсуждать гипотезу о том, что память, заметки и дополнительные внутренние шаги резко меняют результат на задачах ARC AGI.

Нельзя утверждать, что Astra стала общим искусственным интеллектом, полностью заменила человека или надёжно управляет любым компьютером. В пересказе автора также есть оговорка, что результаты ARC AGI не следует считать доказательством появления общего искусственного интеллекта; это положение в предоставленных материалах не подтверждено отдельным первичным источником. Оценки из абстрактных задач нельзя переносить на медицину, финансы или другие области без отдельной проверки полномочий, точности и ответственности.

Экономику нужно считать по успешной задаче, а не по цене одного запроса. В пересказанном автором опыте затраты на интенсивные исследования оценивались как высокие, вплоть до сотен и тысяч долларов в день для отдельных категорий пользователей, но эти суммы не подтверждены независимыми материалами и не должны использоваться как универсальный тариф. В собственном проекте расходы считают по числу попыток, длине контекста, экранным операциям, повторным запускам и времени человека на контроль.

Частые вопросы

Какой бенчмарк выбрать для компьютерного агента?

Для интерфейсных действий подходят Screenshot Pro и OSWorld, для длинных профессиональных процессов Automation Bench, а ARC AGI полезен как отдельная проверка переноса абстрактных навыков в трактовке автора обзора. Руководителю автоматизации всё равно нужен собственный набор рабочих сценариев.

Можно ли сравнить 93% в Screenshot Pro и 73% в OSWorld?

Нет. Эти проценты относятся к разным наборам задач и протоколам. Их можно привести рядом как контекст, но нельзя вычислять из них общий рейтинг без единой методики.

Почему вмешательство человека важнее красивой демонстрации?

Оператор выполняет скрытую часть работы: исправляет ошибку, подсказывает следующий шаг и подтверждает опасное действие. Без учёта этой помощи автономность агента будет завышена.

Что проверять перед запуском в бизнесе?

Проверяют воспроизводимость, права доступа, журнал действий, безопасную остановку, стоимость успешного результата, работу с ошибками и качество на новых данных. Отдельное внимание уделяют персональной информации и необратимым операциям.