DrivingBench: языковые модели за рулём настоящей Corolla

Исследователи проекта DrivingBench проверили, может ли языковая модель общего назначения вести настоящий автомобиль без специально обученного автопилота. Четыре модели получили руль, газ и тормоз Toyota Corolla и маршрут из конусов на парковке. До финиша доехала одна. Разбираем, как был устроен тест и на чём ломались остальные.

Как устроен эксперимент

Тест провели Тобиас Гесслер, Адитья Рамабадран и Саймон Манс. В машине стояло устройство Comma Four от comma.ai с открытым ПО openpilot. Оно подключается к внутренней сети автомобиля (CAN) и даёт программный доступ к рулю, газу и тормозу. Модель управляла машиной через три инструмента внутри одного непрерывного диалога: смотрела на обстановку, решала, что делать, и отдавала команду.

Условия подбирали так, чтобы никто не пострадал: пустая парковка, жёсткое ограничение скорости и человек за рулём, готовый затормозить в любой момент. Сами модели работали на удалённых серверах, так что каждое решение требовало обращения по сети.

Маршрут

Около 135 метров (точнее, 134,7 м) между конусами: прямые участки и несколько поворотов. Первым препятствием была диагональная линия конусов, и уже она оказалась проблемой для восприятия. Каждой модели дали три попытки.

Результаты

Первая попытка GPT-6 Astra закончилась неудачей, но во второй модель учла свои ошибки и доехала до конца. Средняя скорость составила около 1,5 км/ч (0,94 мили в час), максимальная — порядка 3 км/ч. Модель запрашивала новое наблюдение примерно раз в 5–6 секунд.

За поездку она израсходовала около 6,6 млн токенов. Благодаря кешированию счёт за инференс составил 7,74 доллара, но в пересчёте на милю это около 92 долларов. Для сравнения с любым серийным автопилотом цифра бессмысленна, но она хорошо показывает, сколько «мышления» уходит на то, что человек делает рефлекторно.

На чём ломались модели

• Паузы на размышление. В одной из попыток Claude Fable 5.1 управлял машиной 31 секунду, а следующие примерно 160 секунд автомобиль стоял, пока модель думала над очередным действием. Из 190 секунд попытки движение заняло меньше пятой части.
• Путаница со сторонами. Модели путали левое и правое, неверно читали, куда уходит линия конусов.
• Габариты. Размеры автомобиля оценивались неточно, из-за этого повороты проходились слишком близко к конусам или мимо траектории.
• Отказы по соображениям безопасности. Часть моделей отказывалась ехать, несмотря на заверения, что парковка пустая. Исследователям пришлось переименовать систему в «DrivingBench Sandbox», чтобы модели восприняли задачу как тестовую.

Что показывает этот тест

Разрыв между рассуждением в чате и управлением физическим объектом огромен. Модель может правильно описать, что нужно повернуть налево и притормозить, но в реальном мире важны задержка реакции и понимание пространства, а с ними у языковых моделей пока плохо. Машина, которая стоит на месте почти три минуты, пока «думает», на дороге опаснее, чем та, что не едет вовсе.

Вместе с тем результат GPT-6 Astra важен как точка отсчёта: универсальная модель без специального обучения вождению смогла пройти маршрут целиком и исправить свои ошибки между попытками. Для сравнения моделей между собой такой тест информативнее многих текстовых бенчмарков, потому что проверяет сразу восприятие, планирование и скорость принятия решений.

Выводы для тех, кто подключает модели к физическим системам

• Задержка решает больше, чем качество рассуждения. Если модель думает десятки секунд, управляемая система должна уметь безопасно стоять всё это время.
• Нужен аварийный контур вне модели. В тесте его роль играл человек у тормоза и ограничитель скорости. В любом реальном применении это должно быть независимое от модели устройство или логика.
• Пространственные задачи проверять отдельно. Хорошие оценки на текстовых тестах не говорят ничего о том, как модель поймёт расположение объектов на изображении.
• Считать стоимость длинных сессий. Непрерывный цикл «наблюдение — решение — действие» быстро набирает миллионы токенов даже на коротком задании.