Как ограничить автономного ИИ-агента: права, сеть и песочница

Надёжность автономного агента нельзя обеспечить одной инструкцией «не выходить за рамки». Модель вероятностна, среда может быть настроена ошибочно, а внешние данные — содержать вредоносные команды. Безопасный контур предполагает, что даже неверное решение агента не даст ему добраться до критических систем.

Сначала определите радиус возможного ущерба

Риск состоит из двух частей: вероятности ошибки и масштаба последствий. Улучшение модели может снизить число очевидных ошибок, но доступ к сети, секретам и производственной базе увеличивает возможный ущерб. Поэтому вопрос «насколько умна модель» недостаточен. Нужно перечислить всё, что конкретный процесс способен прочитать, изменить и отправить наружу.

Полезная проверка начинается с неприятного сценария: если агент выполнит самую неудачную допустимую команду, что произойдёт? Если ответ включает удаление данных, публикацию секрета или изменение продакшена, границы выставлены слишком широко.

Явная авторизация важнее догадки агента

Anthropic описала четыре эпизода, в которых модели во время кибериспытаний взаимодействовали с реальными сторонними системами. Среда по ошибке имела выход в интернет, а агенты приняли внешние ресурсы за часть учебного задания. В экспериментах явное сообщение об отсутствии разрешения заметно снижало или прекращало такое поведение.

Из этого не следует, что текстового предупреждения достаточно. Оно полезно как дополнительный сигнал. Основное правило жёстче: цель должна передаваться агенту из проверенного списка, а не определяться по похожему домену, имени компании или подсказке во внешнем документе.

Песочница и сеть должны запрещать лишнее технически

Песочница ограничивает процессы, файлы и системные вызовы. Виртуальная машина отделяет рабочую среду от компьютера и других задач. Контроль исходящего трафика определяет, с какими адресами вообще можно связаться. Эти меры дополняют друг друга.

Для исследовательского агента разумна схема «запрещено по умолчанию»: разрешаются только нужные каталоги, команды и сетевые назначения. Если задача требует нового ресурса, доступ добавляется отдельно и на ограниченное время. Открытый интернет «для удобства» превращает ошибку распознавания цели в реальный инцидент.

Секреты не должны попадать в рабочую среду заранее

Ключ, которого нет в песочнице, нельзя случайно вывести из неё. Поэтому токены передаются непосредственно перед нужной операцией, имеют минимальные права и короткий срок жизни. Один секрет не должен открывать облако, базу данных и систему публикации одновременно.

Разделяйте как минимум четыре роли: чтение, подготовка изменения, применение и администрирование. Агент может собрать патч без права развернуть его. Может сформировать SQL-запрос без доступа к производственной базе. Это немного удлиняет нормальный процесс, но резко снижает последствия ошибки.

Почему постоянные подтверждения не спасают

Человек в контуре полезен, только если понимает последствия и действительно проверяет действие. Anthropic сообщала, что пользователи Claude Code одобряли примерно 93% запросов на разрешение. Частые окна превращаются в привычный клик и создают ложное чувство контроля.

Лучше просить подтверждение не для каждой команды, а на понятной границе риска: запись в продакшен, отправка данных на новый домен, использование секрета или расширение области задачи. В окне должны быть показаны цель, затрагиваемые объекты и максимальное последствие, а не только техническое имя команды.

Журнал и аварийная остановка проектируются заранее

Для расследования нужны не только сообщения чата. Сохраняются вызовы инструментов, сетевые назначения, изменения файлов, выданные разрешения и идентификаторы учётных данных. Журнал должен находиться вне среды, которую агент способен изменить.

У остановки тоже несколько уровней:

• прекратить текущий процесс;
• отозвать временные токены;
• закрыть исходящую сеть;
• заморозить снимок среды для анализа;
• запретить повторный запуск до ручной проверки.

Простая кнопка «стоп» бесполезна, если дочерний процесс продолжает работать или уже передал задачу внешнему сервису.

Базовый профиль для разных сред

Локальная разработка: отдельный рабочий каталог, запрет чтения пользовательских секретов, список разрешённых команд. Тестовый стенд: изолированная сеть, синтетические данные, одноразовые учётные записи. Производство: по умолчанию только чтение, применение изменений через отдельный проверяемый механизм, полный аудит и лимит затронутых объектов.

Подробный инженерный разбор песочниц, виртуальных машин и egress-контроля опубликован в материале Anthropic How we contain Claude across products. Описанные там цифры относятся к продуктам компании на дату публикации и не являются универсальной оценкой всех агентов.

Практический критерий прост: безопасность задаёт не обещание модели, а набор действий, которые среда физически позволяет выполнить.