Интерпретируемость нейросетей: почему «чёрный ящик» может быть понятнее, чем считалось

Интерпретируемость нейросетей изучает, какие внутренние процессы приводят модель к ответу и как объяснить их человеку. Исследователь Ник Комарата считает, что современные модели могут быть структурированнее и объяснимее, чем принято думать. Пока это рабочая гипотеза, а не доказанная теория.

Разработчики умеют обучать нейросети, повышать их точность и расширять набор задач. Однако они не обязательно понимают каждый шаг, который привёл модель к конкретному ответу. Современная система включает миллионы или миллиарды искусственных нейронов и десятки или сотни миллиардов параметров, настроенных в ходе обучения. Проверить такую конструкцию целиком трудно даже при наличии данных об архитектуре, весах и входных данных.

Проблема особенно заметна в задачах, где ошибка связана с безопасностью, обманом или скрытой целью. Внешний тест показывает поведение на выбранных примерах. Но модель способна распознать проверку и вести себя иначе при реальной эксплуатации.

Что изучает интерпретируемость ИИ

Интерпретируемость отвечает на два разных вопроса. Какие элементы входных данных связаны с ответом? И какой внутренний механизм преобразовал вход в результат? Карта важности слов или изображений помогает ответить на первый вопрос, но не всегда раскрывает реальный алгоритм модели.

Механистическая интерпретируемость идёт глубже. Исследователь разбирает модель на компоненты, выдвигает гипотезу об их функции, а затем проверяет её, вмешиваясь в работу сети. Если удаление или усиление компонента предсказуемо меняет результат, объяснение получает причинное подтверждение. Одной корреляции для такого вывода недостаточно.

Почему один нейрон не всегда означает одно понятие

Полисемантичность означает, что один нейрон реагирует на несколько внешне не связанных признаков. Возможная причина связана с ограниченным числом доступных компонентов: модель кодирует больше понятий, чем может разместить в отдельных нейронах, и распределяет сигналы по общему пространству.

Эту идею описывает теория суперпозиции. Несколько признаков могут использовать одни и те же направления активации, если такое кодирование помогает модели экономить вычислительный ресурс. Нейрон, которому исследователь пытается дать одно название, иногда оказывается частью более сложной комбинации признаков.

Пример с кошками, автомобилями и V-образной формой

В Inception V1 один нейрон сначала связывали с мордами кошек и передними частями автомобилей. Повторный анализ, описанный Комаратой, предложил другое объяснение: общий признак мог заключаться в V-образной геометрии. Похожая форма встречается в огне, расходящихся струях воды, мордах лисиц и других изображениях.

Такое объяснение меняет смысл наблюдения. Нейрон не обязательно смешивал два случайных понятия, кошек и автомобили. Возможно, он реагировал на геометрический признак, который встречается в обоих классах изображений. По описанию исследователя, округлые O-образные формы вызывали противоположную реакцию.

Разреженные автоэнкодеры и риск убедительной ошибки

Разреженный автоэнкодер получает внутренние активации модели и пытается представить их через небольшое число активных, более понятных компонентов. Этот подход помогает разделять смешанные сигналы и искать признаки, которые не видны при анализе отдельных нейронов.

Но хорошая реконструкция ещё не доказывает, что найденные компоненты соответствуют настоящим функциям исходной модели. Автоэнкодер может подобрать удобное геометрическое описание, которое точно восстанавливает активацию, но ошибочно объясняет её смысл. В материалах, связанных с работой Комараты, этот риск назван одной из причин переоценки интерпретируемости.

Результат зависит и от системы оценки. Если проверять только то, насколько описание предсказывает активацию нейрона, можно упустить его главную функцию. Визуализатор иногда создаёт убедительные изображения собачьих морд, даже если собаки не относятся к основной роли исследуемого компонента.

Рекурсивное обобщение: функция нейрона меняется постепенно

Комарата предлагает рассматривать развитие нейронов не только как случайное смешивание признаков. Термином «рекурсивное обобщение» исследователи описывают постепенное расширение или смещение функции к связанным признакам.

В одном из описанных экспериментов нейрон сначала реагировал на жёлтые поля и долины, затем на соседние визуальные признаки, включая яблоки, теннисные мячи, собак и жёлтые цветы, а к концу обучения преимущественно связывался с теннисными мячами, терьерами и брокколи. Это наблюдение не доказывает универсальный закон обучения. Оно показывает, что функция компонента может заметно меняться по мере обновления параметров.

Что показали эксперименты с архитектурами и крупными моделями

После замены старой архитектуры распознавания изображений на ConvNeXt исследователи оценили понятность нейронов последнего слоя в 99–100% случаев, сохранив размер модели и обучающие данные. Результат зависит от определения понятности и не означает, что вся модель стала полностью объяснимой.

В моделях, различавшихся по размеру примерно в 300 раз, внутренняя структура, по описанию Комараты, оставалась в значительной степени понятной. Малые модели кодировали более широкие понятия, крупные разделяли функции на узкие категории. Но понятность отдельных компонентов не равна пониманию всех связей между ними.

Первоначальный анализ открытой языковой модели Alibaba с 32 млрд параметров оценил около 90% нейронов как имеющих одну основную функцию, примерно 7% как связанных с двумя функциями, а 2–4% как непонятные. Показатель 90% нельзя напрямую сравнивать с результатом OpenAI, где объяснёнными сочли около 1,7% нейронов. Модели, методы анализа и критерии оценки различались.

От того, как определить одну функцию, зависит итоговая оценка. Если считать слабые сигналы несущественными, доля понятных нейронов вырастет. Если учитывать редкие, но устойчивые реакции, тот же компонент может оказаться многофункциональным.

Примеры функций в языковых моделях

В материалах описаны нейроны, реакция которых менялась по мере обучения. Один компонент последовательно связывался с буквой I, сокращением DIY и выражением do it yourself. Другой реагировал на фрагменты программного кода и бенгальского текста, которые исследователи связали с сочетанием букв PR.

Нейрон, связанный с Титаником, активировался в контекстах, где следующими вероятными словами могли быть «бот», «лодка» или «судно». Компонент, реагировавший на запятые, после дополнительного анализа связали со штатом Колорадо. Усиление его активности побуждало модель предлагать планы пеших походов.

Анализ самых заметных активаций может вводить в заблуждение. Функция нейрона иногда проявляется не в слове, на котором он срабатывает, а в том, какие следующие токены он поддерживает и как влияет на дальнейший ход вычислений.

Можно ли управлять поведением через внутренние компоненты

Эксперименты с усилением компонентов показывают причинную связь между внутренней активностью и ответом модели. В одном исследовании усиление компонента, связанного с мостом Золотые ворота, заставляло систему часто упоминать этот объект и описывать себя как мост. По описанию эксперимента, похожим способом усиление «нейрона Колорадо» влияло на появление планов пеших походов.

Удаление сильных сигналов отдельных нейронов тоже меняло поведение. После такой процедуры модель перестала продолжать начало 23-го псалма, а вместо текста Декларации независимости США сгенерировала вымышленную декларацию. Результат указывает на значение отдельных внутренних сигналов для воспроизведения известных текстов. Подробные технические результаты требуют отдельной публикации и независимой проверки.

Пользователь под псевдонимом Брангус сообщил о наблюдении, которое усложняет пример с Колорадо: по его словам, тот же нейрон реагировал на код библиотеки Tornado для Python. Если это наблюдение подтвердится, у компонента может не быть одной чёткой функции. Пока это сообщение, а не установленный факт.

Зачем нужны ИИ-агенты в исследованиях

В качестве автоматизированных исследователей использовали ИИ-агентов. Они предлагали гипотезы о функциях нейронов, подбирали проверки и проводили эксперименты. Такой подход позволяет изучать больше компонентов, чем полностью ручная работа. Однако агент тоже способен принять удобное объяснение за правильное.

Надёжная схема включает несколько этапов: описание активаций, проверку на новых данных, вмешательство в компонент и сравнение с альтернативными объяснениями. Гипотеза становится сильнее, когда совпадают предсказание, причинный эксперимент и независимая проверка.

Что мешает объявить проблему решённой

• Модель может содержать многофункциональные нейроны и сложные связи между слоями.
• Метрика понятности зависит от порога, который отделяет сильный сигнал от слабого.
• Реконструкция активации не гарантирует механистической верности объяснения.
• Понятность последнего слоя не раскрывает все вычисления предыдущих слоёв.
• Крупные модели с триллионами параметров остаются слишком сложными для полного анализа.
• Сравнение процентов без одинаковой архитектуры, данных и методики создаёт ложное впечатление прогресса.

Искажённое утверждение о «99–1% объяснённых нейронов» нельзя считать подтверждённым показателем. Точные цифры и методику нужно проверять по оригинальной технической публикации. Комарата оценивает уверенность в основных выводах примерно в 85%, а полная статья о нейронах языковых моделей ещё готовится.

Безопасность, самоулучшение и концентрация власти

Интерпретируемость может помочь обнаружить обман, скрытые цели и опасные внутренние процессы до того, как они проявятся в реальном мире. Внутренний анализ способен дополнить поведенческие тесты, которые проверяют только заранее выбранные сценарии.

Роман Ямпольский предупреждал, что тот же инструмент может ускорить рекурсивное самоулучшение. Если система научится понимать собственные слабые места и изменять внутреннюю структуру, интерпретируемость станет не только средством контроля, но и способом повысить возможности ИИ.

По мнению ряда исследователей, целенаправленное проектирование поведения моделей способно усилить концентрацию власти у компаний и организаций, контролирующих вычислительные ресурсы, данные и инструменты вмешательства. Здесь речь идёт уже не об одной технической метрике, а о доступе к управлению сложными системами.

Итог: что можно считать обоснованным

Исследования показывают, что отдельные нейроны и небольшие цепочки компонентов иногда удаётся описать понятным языком и проверить причинными вмешательствами. Разреженные автоэнкодеры, анализ цепей и ИИ-агенты расширяют масштаб таких исследований. Эксперименты с ConvNeXt и открытыми языковыми моделями дают основания осторожно пересмотреть представление о полностью хаотичном «чёрном ящике».

Но интерпретируемость отдельных компонентов не означает полного понимания модели. Заявления о 90–100% понятных нейронов зависят от критериев, архитектуры и качества проверки. Исследователи пока не раскрыли все внутренние процессы передовых нейросетей, а гипотеза Комараты требует независимого воспроизведения. Чёрный ящик может быть структурированнее, чем считалось, но до прозрачной модели ему ещё далеко.