ИИ в военных программах и массовом надзоре: где возникает риск

Самые тревожные сценарии применения ИИ редко начинаются с «нажатия одной кнопки». Обычно уже существуют специалисты, оборудование, данные и политическая цель. Модель сокращает время на программирование, анализ и подготовку документов. Именно это усиление способностей, а не фантастическая автономность, важно оценивать в первую очередь.

Где ИИ даёт практическое усиление

В сложном проекте много работы не связано с уникальным открытием. Нужно собрать требования, написать и проверить код, сравнить варианты, подготовить документацию, обработать результаты испытаний. Генеративная модель способна ускорить каждую из этих операций.

В сентябрьском отчёте Anthropic описаны расследования аккаунтов, связанных с разработкой обычных вооружений. По данным компании, пользователи распределяли работу между несколькими экземплярами модели: один готовил код, другой искал сведения, третий проверял результат. В одном эпизоде состоялось полевое испытание, которое, по оценке Anthropic, оказалось неудачным. Компания подчёркивает, что у неё нет доказательств создания работоспособного устройства.

Это важное ограничение. Помощь модели не равна успешному продукту. Она может сократить цикл разработки, но не отменяет физические испытания, производство, квалификацию команды и доступ к компонентам.

Почему документация тоже имеет значение

Большие технические программы зависят от спецификаций, закупочных документов, расчётов и согласований. Anthropic также сообщила о подготовке с помощью модели технического предложения объёмом более 200 страниц для противоторпедной системы. Другие расследования касались программного обеспечения для беспилотных комплексов, моделирования и анализа открытых источников.

Такая работа выглядит менее опасной, чем инструкция по сборке оружия, но она снимает организационные барьеры. Небольшая группа получает возможность быстрее подготовить материалы, которые раньше требовали нескольких специалистов. Поэтому оценка риска должна учитывать весь проект, а не только наличие очевидно опасного запроса.

Как ИИ встраивается в массовый надзор

В системах наблюдения модель может играть две роли. Первая — инженерная: помогать создавать платформу сбора и обработки данных. Вторая — аналитическая: сортировать материалы, связывать профили и готовить досье.

Anthropic описала случай консультанта, который, по оценке компании, работал над системой для государственной службы Мали. Заявленный масштаб охватывал около 25 миллионов SIM-карт трёх национальных операторов. В отчёте отдельно сказано, что после развёртывания локальной системы блокировка облачного аккаунта уже не могла остановить её работу.

В других расследованиях компания связывала использование модели с анализом социальных сетей, профилированием активистов и подготовкой государственных сводок. Эти выводы основаны на внутренней телеметрии и атрибуции провайдера. Их корректно описывать как результаты расследования Anthropic, а не как судебно установленный факт.

Почему отдельный отказ не решает проблему

Опасная система складывается из нейтральных частей: базы данных, интерфейса поиска, перевода, классификации и генерации отчёта. Запрос «сделай таблицу» может быть обычной аналитикой, пока не известны источник данных и цель.

Пользователь способен дробить работу между сессиями. В одном из описанных Anthropic случаев модель сначала отказалась выполнять запрос, но после изменения формулировки выдала полезный для операции результат. В другом работа продолжалась много сессий без вмешательства. Это показывает предел локального фильтра: он оценивает ответ, тогда как риск возникает на уровне процесса.

Какие ограничения работают лучше

• Анализ последовательности. Проверяется не только последняя реплика, но и связанная работа аккаунтов, инструментов и файлов.
• Разделение возможностей. Генерация текста не должна автоматически давать доступ к реестрам, геолокации и системам управления.
• Контроль экспорта. Массовая выгрузка профилей, досье или идентификаторов требует отдельного основания и журнала.
• Проверка назначения. Для чувствительных государственных и оборонных сценариев нужна документированная правовая цель, а не только техническая авторизация.
• Отраслевое взаимодействие. Если операция использует несколько платформ, индикаторы нужно передавать партнёрам в допустимых законом пределах.

Ограничения на стороне провайдера полезны, пока работа зависит от его сервиса. После экспорта кода или локального развёртывания они теряют силу. Поэтому важны правила закупок, аудит заказчика и контроль инфраструктуры, в которой работает готовая система.

Как читать публичные отчёты

Отчёты платформ показывают обнаруженные случаи, а не полную картину. Провайдер видит собственные аккаунты, но не всегда знает, что произошло после выдачи результата. Одновременно он заинтересован показать эффективность своих расследований. Полезный подход — отделять наблюдаемое действие, оценку атрибуции и предположение о последствиях.

Исходные кейсы собраны в отчёте Anthropic Countering misuse of AI. В этой статье намеренно не приводятся технические детали, способные упростить разработку оружия или незаконное наблюдение. Для оценки риска достаточно понимать организационный эффект: ИИ сокращает время, связывает этапы и позволяет меньшей группе вести работу большего масштаба.