Можно ли доверять медицинскому ИИ при срочных симптомах: где ошибаются ChatGPT Health и кризисные модели

Медицинский триаж означает первичную оценку срочности состояния. Она определяет, нужна ли человеку немедленная помощь, обращение в ближайшее время или плановая консультация. В триаже ошибка «подождать» опаснее обычной фактической неточности: неверно названный диагноз можно исправить на очном приёме, а пропущенную дыхательную недостаточность или тяжёлое нарушение обмена веществ можно не успеть заметить.

Исследования, приведённые в исходных материалах, не дают оснований считать медицинский чат-бот самостоятельным диспетчером неотложной помощи.

Он помогает изложить симптомы и подготовить вопросы врачу, но при опасных признаках не должен быть единственным каналом принятия решения.

Что проверяет медицинский триаж

Триаж отвечает не только на вопрос «какой это диагноз?». Система должна определить срочность, заметить признаки ухудшения, уточнить контекст и не создать ложного ощущения безопасности. Для этого нужны сведения о возрасте, сопутствующих заболеваниях, лекарствах, времени появления симптомов, их динамике и доступных способах получения помощи.

Когда человек пишет «мне тяжело дышать» или «сильно болит грудь», одной вежливой рекомендации недостаточно. Важны уточнения о внезапности симптома, посинении губ, спутанности сознания, обмороке, температуре, травме и уже принятом лечении. Даже полный ответ пользователя не превращает языковую модель во врача: модель не осматривает человека, не измеряет показатели и может неправильно оценить значение отдельной детали.

ChatGPT Health и оценка срочности

В описанной проверке, которую автор материалов связывает с исследованием в Nature Medicine, ранняя версия ChatGPT Health дала опасно низкую оценку срочности в 33 из 64 ответов на четыре сценария, требовавших немедленной помощи. В этих случаях система рекомендовала обратиться к врачу через сутки или двое, хотя сценарии включали тяжёлые нарушения обмена веществ и начинающуюся дыхательную недостаточность.

Число 33 из 64 нельзя переносить на всех пользователей и любые симптомы. Это результат конкретного тестового набора, а не измерение частоты ошибок в реальной медицинской службе. Но сам тип сбоя имеет практическое значение: модель могла сформулировать спокойный и убедительный ответ там, где задержка обращения становилась опасной.

В более поздней проверке рассмотрели 255 медицинских случаев, включая обезличенные реальные обращения за неотложной помощью, как это описано в исходных материалах. Оценка срочности ChatGPT Health совпала с экспертной в 54% случаев. После дополнительных вопросов совпадение снизилось до 48%.

Эти показатели не означают, что дополнительные вопросы всегда вредны. Они показывают другое: более длинный диалог сам по себе не гарантирует точный триаж. Если модель выбрала неверное направление рассуждения, новые ответы пользователя могут закрепить ошибочную интерпретацию, а уверенный стиль общения скроет сохраняющуюся неопределённость.

Почему дополнительные вопросы не всегда повышают безопасность

Дополнительный вопрос полезен, когда он проверяет конкретный риск и меняет дальнейшее действие. Например, сведения о потере сознания, нарастающей одышке или внезапной слабости одной стороны тела должны переводить разговор из режима справочной консультации в режим срочного обращения за медицинской помощью.

Проблема возникает, когда диалог превращается в длинное анкетирование без ясного порога эскалации. Человек может решить, что раз чат продолжает задавать вопросы, значит ситуация пока не опасна. Модель также может придать одинаковый вес второстепенной детали и признаку, который требует немедленной реакции.

А что делать, если симптомы быстро усиливаются во время разговора? Не продолжать переписку ради более точного ответа, а обращаться за экстренной медицинской помощью по местному номеру и выполнять инструкции диспетчера. При потере сознания, выраженной одышке, сильной боли в груди, признаках инсульта, судорогах, тяжёлой аллергической реакции или подозрении на отравление чат-бот не заменяет экстренную службу.

Психологический кризис: прямые слова и косвенные сигналы

В исследовании примерно 2 000 сообщений о психологических кризисах пять языковых моделей чаще всего правильно реагировали на прямое сообщение о намерении причинить себе вред. Такой результат показывает, что явная формулировка риска помогает системе распознать ситуацию и выбрать более безопасный сценарий ответа.

Косвенные намёки и неоднозначные фразы обрабатывались хуже. Некоторые модели отвечали неуместно или потенциально опасно, когда пользователь не писал прямым текстом о намерении совершить самоубийство или причинить себе вред. В исследовательском наборе оценивали не только суицидальные высказывания, но и самоповреждение, тревожный кризис, насильственные мысли, проблемы с употреблением веществ и рискованное поведение.

Этот результат нельзя превращать в рейтинг «безопасной модели» для конкретного человека. В исследовании ответы оценивали по заранее заданному протоколу, а модель не имела всей истории общения и не могла проверить реальную обстановку. Даже подходящая реакция в тесте не доказывает, что чат-бот правильно оценит риск в живом диалоге, где пользователь меняет формулировки, замалчивает обстоятельства или внезапно перестаёт отвечать.

Если человек прямо или косвенно говорит, что может причинить себе вред, ответ должен включать живую помощь: обращение к экстренной службе, кризисной линии или близкому человеку, который способен оставаться рядом. Чат-бот может помочь сформулировать сообщение для специалиста, но не должен удерживать человека в бесконечном диалоге и создавать впечатление, что кризис уже находится под контролем.

Ошибки в медицинских документах

Риск медицинского ИИ связан не только с советом пользователю. В материалах описаны случаи, когда документы, подготовленные с помощью ИИ, содержали перепутанные лекарства, неверные диагнозы и ложные сведения об анамнезе. В одном сообщённом случае пациентке ошибочно приписали употребление галлюциногенных грибов, а врач позднее проверила и исправила запись.

Ошибочная запись особенно опасна, когда следующий специалист воспринимает её как подтверждённый факт. Название лекарства может повлиять на назначение, неверный диагноз способен изменить маршрут пациента, а вымышленная деталь анамнеза иногда влияет на решение о госпитализации или обследовании. Красивое оформление документа не доказывает достоверность его содержания.

Для клиники безопасный процесс требует сверять с первоисточником каждое лекарство, дозировку, аллергию, диагноз, результат анализа и идентификационные данные пациента. Врач, который подписывает документ, должен видеть исходную запись и исправлять ошибки до включения текста в медицинскую документацию. Автоматическая генерация не переносит ответственность за проверку на программу.

Перепутанная карта может привести к правильному диагнозу не тому пациенту

В эксперименте с шестью языковыми моделями исследователи намеренно подменяли идентификационные данные в электронных медицинских картах. Агенты часто продолжали работу, не замечая ошибку. Даже лучшая модель отказывалась продолжать действия только в 17% испытаний с полностью перепутанными заголовками карт.

Смысл этого результата шире обычной ошибки распознавания текста. Система могла правильно определить заболевание по представленным данным, но отнести заключение не к тому человеку. Такой сбой относится к идентификации пациента и контролю целостности данных, а не к медицинским знаниям модели.

Важно не смешивать уровни доказательств. Эксперимент с подменой данных был искусственным тестом, а не наблюдением реальных случаев лечения. Он не показывает, сколько пациентов в клиниках действительно пострадали из-за такой ошибки. Зато демонстрирует проверяемую уязвимость: агент, которому разрешили действовать с медицинскими записями, должен контролировать не только смысл текста, но и соответствие карты конкретному пациенту.

Какие данные относятся к реальной практике, а какие к тестам

• Обезличенные реальные обращения. В описании проверки ChatGPT Health присутствовали случаи обращений за неотложной помощью, но результат всё равно зависел от выбранной выборки и способа экспертной оценки.
• Тестовые сценарии. Четыре сценария с немедленной угрозой здоровью позволили проверить реакцию на заранее отобранные опасные состояния, однако они не описывают весь спектр симптомов.
• Исследовательские сообщения о кризисах. Набор примерно из 2 000 сообщений создавали для оценки реакции моделей на разные категории психологического риска, а не для оказания помощи участникам в реальном времени.
• Искусственная подмена карт. Эксперимент с идентификационными данными проверял устойчивость агентных систем к ошибке контекста. Он не был исследованием фактического лечения пациентов.

Разделение этих категорий защищает от неверного вывода «модель ошибается в каждом втором реальном случае» или, наоборот, «модель доказала клиническую безопасность». Тестовый процент характеризует конкретную методику, набор данных и версию системы в момент проверки.

Минимальные меры безопасности для клиник

1. Проверять личность пациента по независимому идентификатору до чтения, изменения или сохранения записи.
2. Сверять с исходными источниками лекарства, дозы, аллергии, диагнозы, анализы и даты.
3. Разделять черновик, подготовленный ИИ, и подписанную медицинскую запись.
4. Настраивать обязательную проверку человеком для срочности, назначения лечения и документов, которые влияют на дальнейшую помощь.
5. Проводить тесты с намеренно перепутанными именами, заголовками и контекстом карт до расширения доступа агента.
6. Фиксировать, какие данные получил ИИ, какие выводы он предложил и кто подтвердил итоговое решение.

Клиническая система должна уметь остановиться, если идентификаторы противоречат друг другу, источник данных отсутствует или риск нельзя исключить. Простое продолжение работы повышает вероятность того, что убедительный текст примут за проверенное медицинское заключение.

Практический вывод для пользователя

Медицинский чат-бот подходит для структурирования жалоб, подготовки списка вопросов и объяснения уже полученных от врача сведений. Он также помогает собрать хронологию симптомов, перечислить лекарства и составить сообщение для клиники, если пользователь проверяет каждую деталь.

Когда вопрос касается срочности, выбор должен быть консервативным. При опасных или быстро нарастающих симптомах нужно обращаться к врачу или в экстренную службу, а не проверять ответ несколькими моделями. При психологическом кризисе с риском самоповреждения необходим контакт с живым человеком и срочной помощью.

Главный вывод исследований не в том, что медицинский ИИ бесполезен. Удобный диалог, дополнительные вопросы и уверенный тон не равны клинической надёжности. Пока система не может гарантированно распознать срочность, сохранить правильную идентичность пациента и корректно обработать косвенный сигнал кризиса, её роль должна оставаться вспомогательной, а окончательное решение должен принимать человек с доступом к медицинским данным и реальной помощи.