Qwen 4 Max — языковая модель Alibaba. В этом сравнении её оценивают как инструмент для программирования и работы с репозиториями. Результаты относятся только к описанным испытаниям, а не к универсальному рейтингу моделей: некоторые названия и числа в исходной записи распознаны неясно, независимых подтверждений замеров в доступных материалах нет.
Как читать результаты бенчмарков Qwen 4 Max и Claude
Один тест не отвечает на вопрос, какая модель лучше для программирования. Бенчмарки различаются заданиями, условиями запуска, версиями моделей и способом подсчёта баллов. Результат имеет смысл только вместе с методикой и датой проведения.
В описании сравнения для Deep SWE указаны примерно 76 баллов у Qwen 4 Max и 74 у Claude Opus 5.5. Для Terminal Bench 4 приводятся около 48,5 балла у Qwen и почти 60 у Claude Opus 5.5. Ещё одной модели приписан результат около 67 баллов, но её название распознано неразборчиво. Эти значения передают результаты конкретного сравнения, а не подтверждённые актуальные оценки.
В другом тесте, посвящённом восстановлению целой программы, автор сравнения приводит 65 баллов для Claude Opus 5 и 31,12 для Qwen 4 Max. Такой разрыв может быть значим для этого задания. Однако без описания тестового набора, критериев проверки и числа запусков переносить его на обычные задачи разработки нельзя.
Отдельно в пересказе приводится оценка Artificial Analysis: 43 балла для Qwen 4 Max против 34 у предыдущей версии. Там же названы результаты других моделей, но некоторые версии распознаны с сомнениями. Напрямую сравнивать эту цифру с результатами Deep SWE или Terminal Bench нельзя: это разные измерения.
Почему результаты расходятся? Исправление локальной ошибки, работа с терминалом и восстановление большой программы проверяют разные навыки. Рейтинг Arena, в котором пользователи оценивают ответы, тоже измеряет другое и не заменяет проверку патчей в репозитории.
Исправление ошибок в открытых проектах
Самый прикладной результат в описании относится к тесту King Ei с реальными ошибками в проектах с открытым исходным кодом. Двум моделям предложили исправить восемь ошибок, выделив по две попытки на каждую. По приведённым данным, Claude справилась с 11 из 16 попыток, а Qwen — с 9 из 16.
Эти числа показывают разницу в конкретной небольшой выборке, но не доказывают, что Claude всегда лучше исправляет код. Две попытки на ошибку дают ограниченное представление об устойчивости результата. На него также влияют репозитории, тесты, настройки агента и доступные инструменты. Полных протоколов запусков в описании нет, поэтому пересчитать итог по одним итоговым числам невозможно.
Среднее время одной попытки, согласно пересказу, составляет около семи минут у Qwen и примерно полтора минуты у Claude. Это результаты конкретных измерений, а не гарантированная задержка сервисов: среднее время в тесте не обязательно совпадёт с ожиданием в другой среде, где на него влияют очередь запросов, размер проекта и число итераций.
Оценивая исправление, проверяйте не только принятый патч. Убедитесь, что прошли существующие тесты, посторонняя логика не изменилась, diff понятен и после ответа модели не потребовались ручные исправления. Успешная попытка без регрессий ценнее формально сгенерированного решения, которое разработчик не может безопасно влить.
Стоимость: цена попытки и цена принятого решения
В сравнении King Ei использование Qwen описано как примерно на 76% более дешёвое, чем Claude. Эта оценка относится только к расходам в том тесте. Она не означает, что Qwen будет дешевле на такую же долю в каждом API, тарифе или рабочем процессе.
В другом фрагменте приводится оценка Artificial Analysis: около 3,27 доллара за задачу для Qwen 4 Max и около 10 долларов для Claude Opus 5.5. Там же названы примерно 26,50 доллара для Claude 5.2 и 1,27 доллара для GPT 6.1 Sol. Методика и состав задачи в доступном пересказе раскрыты недостаточно, а названия и версии моделей требуют проверки. Эти суммы нельзя считать текущим прайс-листом или использовать как бюджет проекта.
Цена одного запуска и стоимость готового исправления — разные показатели. Если дешёвая модель чаще требует повторных запусков, долгой проверки или ручной переделки, экономия на запросе может исчезнуть. При простых задачах, автоматических тестах и небольшом риске даже более слабый результат может быть приемлемым, если проверка быстро отсеивает ошибки.
В пересказе внутренним испытаниям Alibaba приписано снижение средней стоимости задачи с 443 до 167 долларов, примерно на 62%. Это заявление компании, а не независимый вывод о стоимости программирования для любого пользователя. Без описания задач, инфраструктуры и расчётной методики эти числа нельзя напрямую сравнивать с внешней оценкой Artificial Analysis.
Когда выбирать Qwen 4 Max, а когда Claude
- Qwen 4 Max стоит проверить на типовых задачах команды, если важна стоимость запросов и результат можно оценивать автоматическими тестами. Начните с низкорисковых изменений: тестов, документации и локальных исправлений.
- Claude разумно включить в сравнение для задач, где важны скорость выполнения и качество работы с существующим репозиторием. В описанном тесте исправления ошибок Claude показала больше успешных попыток и меньшее среднее время.
- Для сложного восстановления программы не выбирайте модель по среднему рейтингу. В приведённом тесте преимущество Claude было заметным, но один набор заданий не устанавливает общего превосходства.
- Для критичных изменений ни один результат бенчмарка не заменяет ревью разработчика, запуск тестов и проверку безопасности. Модель предлагает патч, а команда решает, сливать ли его.
Не назначайте одну модель победителем заранее. Запускайте недорогую модель на массовых простых задачах, а задачи с широким контекстом и высокой ценой ошибки отдавайте модели, которая лучше прошла внутреннюю проверку команды.
Как провести собственное сравнение
Собственный тест полезнее общего рейтинга, когда он отражает ваш язык, стек и репозитории. Возьмите задачи с проверяемым ожидаемым результатом, которые уже решены: исправление дефекта, добавление теста, изменение небольшого модуля и разбор ошибки сборки. Для каждой модели задайте одинаковые инструкции, используйте один и тот же снимок кода и предоставьте равный доступ к инструментам.
- Зафиксируйте окружение. Укажите точное название версии модели, режим рассуждений, дату запуска, системные инструкции и доступные команды. Если версии или настройки различаются, отметьте это отдельно.
- Проведите независимые запуски. Не передавайте одной модели ответ другой и не подсказывайте только одному участнику сравнения. Сохраняйте логи, патчи и время от начала задачи до готового решения.
- Определите критерии до старта. Считайте успехом не текстовый ответ, а патч, который проходит заданные проверки и не ломает существующие тесты. Отдельно отмечайте частичный успех и необходимость ручной доработки.
- Считайте полные расходы. Записывайте стоимость всех попыток и повторов, затем делите её на число принятых решений. Если точные тарифы меняются, используйте фактические списания за тестовый период.
- Сравните скорость и качество вместе. Замеряйте время до корректного патча, а не только время генерации ответа. Для команды важны и ожидание ревью, и объём исправлений: они тоже влияют на итоговую производительность.
Небольшая выборка не даёт статистической гарантии. Но она покажет, какая модель чаще проходит ваши тесты, сколько стоит одно принятое решение и где инженеру приходится вмешиваться. Повторите одни и те же задачи несколько раз, если хотите оценить разброс результата, а не удачный единичный запуск.
Частые вопросы о Qwen 4 Max и Claude
Можно ли считать Qwen 4 Max равной Claude в программировании?
Приведённых данных недостаточно для такого общего вывода. В одном пересказе Qwen немного опередила Claude в Deep SWE, но уступила в Terminal Bench 4 и тесте восстановления программы. В испытании исправления ошибок Claude также получила больше успешных попыток.
Подтверждает ли экономия в тесте, что Qwen всегда выгоднее?
Нет. Оценка экономии примерно на 76% относится к описанному тесту King Ei, а не ко всем сценариям и тарифам. Сравнивайте расходы на принятый патч, включая повторы и ручную доработку.
Какой показатель важнее: скорость, цена или качество?
Для пакетной генерации простых исправлений важны стоимость и доля решений, которые проходят автоматические проверки. При срочном ремонте производственной ошибки важны время до безопасного патча и вероятность регрессии. Команда выбирает критерии с учётом последствий сбоя, а не одного итогового балла.
Выбирайте между Qwen 4 Max и Claude по результатам воспроизводимого теста на собственных задачах. Доступные цифры дают повод проверить обе модели, но их неоднозначность и ограниченная методика не позволяют объявить универсального победителя.
Сравните модели перед запуском
Тарифы, лимиты и список моделей — на стороне сервиса. Если что-то разойдётся с описанным здесь, напишите: поправим материал и проставим новую дату проверки.
Открыть каталог моделейСсылка партнёрская: цена для вас не меняется, проект получает вознаграждение.