MAIDX O против GPT-5: что показала многоагентная диагностика

MAIDX O представляет собой многоагентную систему для анализа сложных клинических случаев и выбора диагноза. Microsoft сообщила о результатах испытаний, опубликованных в журнале Science: на наборе из 304 исторических случаев система правильно определила диагноз в 83% эпизодов, тогда как врачи со справочником достигли 36%.

Впечатляющие цифры не доказывают, что MAIDX O готова самостоятельно лечить пациентов.

Тест проверял работу с заранее собранными клиническими описаниями, а не безопасность диагностики в реальной клинике.

Что именно проверяла MAIDX O

Главным объектом сравнения была не полноценная медицинская консультация, а способность системы разобрать сложное описание случая и выбрать правильный диагноз. Модель получает симптомы, анамнез, результаты исследований и другие сведения, после чего формирует диагностический вывод.

Реальная диагностика устроена сложнее. Врач собирает неполную информацию, разговаривает с пациентом, оценивает срочность, проводит физикальное обследование, проверяет личность и медицинскую карту, выбирает дополнительные исследования, объясняет решение и контролирует дальнейшие действия. В представленном бенчмарке основным итогом считалась правильность ответа по историческому кейсу, а не безопасность полного клинического процесса.

Что означает показатель 83%? Система выбрала правильный диагноз в 83 случаях из ста в рамках конкретного набора и конкретных условий теста. Этот результат не равен вероятности правильного решения для любого нового пациента, поскольку неизвестно, насколько состав случаев отражает разные клиники, страны, возрастные группы и редкие сочетания заболеваний.

Как устроена многоагентная система

Архитектура MAIDX O включает базовую большую языковую модель, пять взаимодействующих агентов и оркестратор. Базовая модель генерирует и анализирует текст, агенты выполняют разные этапы рассуждения, а оркестратор координирует обмен результатами и формирует итоговый процесс.

Пять агентов не следует автоматически считать пятью независимыми врачами. В такой архитектуре агент представляет программный компонент с заданной ролью, инструкциями и способом обмена сообщениями. Несколько агентов могут проверять гипотезы друг друга, искать противоречия, предлагать альтернативные диагнозы и повторно оценивать слабые места вывода. Сама по себе множественность компонентов медицинскую корректность не гарантирует.

Многоагентная схема полезна там, где одной генерации ответа недостаточно. Оркестратор разделяет задачу на этапы, а повторная проверка снижает риск того, что первый правдоподобный диагноз останется без критического анализа. Если все агенты используют одну и ту же ошибочную предпосылку, согласованность системы, напротив, создаёт ложное ощущение надёжности.

Разбор показателей 83%, 79% и 36%

Сравнение MAIDX O с GPT-5 без агентной обвязки даёт разницу примерно в четыре процентных пункта. По оценке автора разбора, такой порядок прироста можно связать с работой пяти агентов и оркестратора, если остальные условия эксперимента действительно совпадали. Это более осторожный вывод, чем утверждение о двукратном превосходстве многоагентной архитектуры над базовой моделью.

Разница между MAIDX O и врачами со справочником составляет 47 процентных пунктов. Она не описывает противостояние системы с полноценной клинической командой. Врачи решали задачу в условиях, заданных исследователями, а не в обычном процессе приёма, где доступны коллеги, лабораторные данные, визуальная диагностика, электронная карта и возможность наблюдать пациента во времени.

Почему сравнение с врачами требует осторожности

Фраза «ИИ лучше врачей» слишком широка для этих данных. Корректнее сказать, что MAIDX O показала более высокий результат, чем врачи со справочником, в конкретном тесте сложных исторических случаев. На итог влияют формат вопросов, время на ответ, доступные материалы, состав группы врачей и способ определения правильного диагноза.

Справочник не заменяет медицинскую инфраструктуру. В реальной работе врач сопоставляет жалобы с результатами осмотра, учитывает противопоказания, оценивает качество анализов и решает, какое действие безопаснее при неполной информации. Исследование, измеряющее только выбор диагноза по описанию, не показывает способность вести пациента от первого обращения до лечения.

В клинике цена ошибки неодинакова. Пропущенная дыхательная недостаточность требует другой оценки риска, чем ошибка в менее срочном дифференциальном диагнозе. Медицинской системе нужны не только средняя точность, но и чувствительность к опасным состояниям, частота необоснованных назначений, качество отказа от ответа и способность вовремя направить человека к врачу.

Что могли дать пять агентов

Многоагентный подход может улучшать результат за счёт распределения функций. Один компонент формирует список гипотез, другой ищет признаки, не согласующиеся с первой версией, третий проверяет последовательность клинического рассуждения, а оркестратор сводит выводы в единый ответ. Конкретное распределение ролей зависит от реализации MAIDX O, поэтому его нельзя подменять общей схемой рассуждений.

• Агенты могут заставить систему рассмотреть несколько диагностических гипотез.
• Повторная проверка помогает обнаружить внутренние противоречия в объяснении.
• Оркестратор управляет порядком обмена сообщениями и выбором итогового вывода.
• Разделение этапов облегчает аудит места, где возникла ошибка.

Прирост относительно одной модели оказался ограниченным: почти 79% против 83%. Сам по себе этот результат не говорит о недостатке подхода. Базовая модель уже хорошо справляется с задачей, поэтому дополнительные агенты могут дать небольшой прирост, одновременно увеличив время, вычислительные расходы и сложность контроля. Руководителю клиники важны не только проценты правильных ответов, но и стоимость одного проверенного случая, задержка результата и последствия редкой ошибки.

Риск утечки случаев в обучающие данные

Исторические клинические кейсы могли ранее попасть в научные публикации, учебные материалы или другие открытые источники. Если похожие описания присутствовали в обучающих данных модели, система могла воспроизвести знакомый шаблон, а не продемонстрировать способность обобщать на новый случай.

Это не означает, что результат обязательно недействителен. Без проверки на новые случаи, закрытые от разработчиков, нельзя отделить клиническое рассуждение от запоминания или частичного совпадения с известным текстом. В описанном испытании модели, по приведённым данным, не дообучали специально на медицинских знаниях и не подключали к специализированным медицинским библиотекам или базам знаний. Такие условия делают тест понятнее, но не устраняют риск загрязнения набора.

Исторические кейсы не заменяют испытание на пациентах

MAIDX O оценивали на исторических данных, а не на живых пациентах. Система не отвечала за вызов скорой помощи, назначение лекарства, выбор дозировки, получение согласия, защиту персональных данных или передачу заключения конкретному врачу.

Проспективное испытание устроено иначе. Сначала фиксируют правила работы системы, затем проверяют её на новых обращениях, которые не были доступны разработчикам и модели во время подготовки. Исследователи должны заранее определить клинические исходы, порядок вмешательства врача, критерии остановки и процедуру разбора опасных ошибок. Только такой дизайн позволяет оценить не одну точность диагноза, а влияние инструмента на решения и здоровье пациентов.

Даже проспективный тест не закрывает все вопросы. Для внедрения потребуются проверки в разных клиниках, на разных языках и в разных медицинских системах, а также оценка устойчивости к неполным, противоречивым и ошибочно присоединённым данным. Отдельный контур нужен для контроля идентификации пациента: эксперимент с подменой данных медицинских карт, упомянутый в материалах, показывает, что агент может правильно распознать заболевание и одновременно связать вывод не с тем человеком.

Какие тесты нужны дальше

1. Новые закрытые случаи. Набор должен формироваться после фиксации версии системы и не попадать в обучение моделей.
2. Разные клинические условия. Проверка должна охватывать несколько учреждений, специальностей, языков и уровней доступной диагностики.
3. Опасные сценарии. Нужны отдельные тесты на сепсис, дыхательную недостаточность, инсульт, тяжёлые аллергические реакции и другие состояния, где промедление критично.
4. Сравнение с врачом при одинаковых ресурсах. Следует отдельно оценивать врача без справочника, врача со справочником и врача с доступом к клиническим информационным системам.
5. Время и стоимость. Исследование должно показывать задержку ответа, число обращений к модели и расходы на один разбор, а не только итоговую точность.
6. Безопасность действий. Нужно проверять, умеет ли система отказаться от вывода, запросить недостающие сведения и передать случай человеку.

Практический вывод для клиник и разработчиков

MAIDX O показала сильный результат диагностического бенчмарка. Система превзошла врачей со справочником на заявленном наборе из 304 сложных случаев, а многоагентная архитектура добавила к результату базовой модели примерно четыре процентных пункта.

Но эти данные не превращают MAIDX O в автономного виртуального врача. Они не показывают готовность системы самостоятельно принимать пациентов, назначать лечение или работать без клинического контроля. Для руководителя клиники вопрос звучит иначе: помогает ли такой инструмент врачу быстрее находить опасные варианты и снижает ли число ошибок в реальном процессе?

Опубликованный бенчмарк не даёт ответа. Нужны независимая проверка на новых случаях, анализ ошибок высокой тяжести, оценка расходов и времени, а также проспективное исследование с реальными пациентами и ответственным медицинским персоналом.

FAQ

MAIDX O лучше GPT-5?

В представленном сравнении MAIDX O получила 83%, а GPT-5 без агентной обвязки почти 79%. Это означает преимущество в конкретном наборе и условиях теста, а не универсальное превосходство во всех медицинских задачах.

Пять агентов дали основной прирост?

По приведённым цифрам разница с базовой моделью составляет примерно четыре процентных пункта. По оценке автора, этот прирост можно связать с агентной архитектурой, однако одно сравнение не доказывает, какой компонент дал основной эффект.

Можно ли использовать MAIDX O для самостоятельной диагностики?

Оснований для такого вывода нет. Испытание проходило на исторических данных и не проверяло безопасность лечения, работу с живыми пациентами, защиту медицинских данных и ответственность за клиническое решение.