Открытые ИИ-модели оценивают научные статьи: насколько они близки к экспертам

По описанию автора обзора, открытые ИИ-модели оценивают научные статьи по названию и аннотации, чтобы предварительно определить качество публикации. В исследовании Майкла Телвела и Эксона Мохамеди модели, согласно переданным сведениям, сравнивали с экспертными оценками примерно 3 000 статей по медицине, здравоохранению и биологии. Первичный источник или точная цитата из него в доступных материалах отсутствуют, поэтому эти сведения следует воспринимать как пересказ заявленного эксперимента. Его возможный практический вывод ограничен: открытые модели могут подходить для первичного отбора литературы, но не заменяют рецензента и содержательную проверку работы.

Результат важен не только для научных журналов. Исследователи, библиотеки и разработчики систем анализа литературы получают, по концепции, изложенной в обзоре, инструмент для быстрой сортировки большого массива публикаций по приоритету дальнейшего чтения. Оценка по двум коротким фрагментам статьи отвечает лишь на ограниченный вопрос: насколько убедительно выглядит заявленная работа на поверхности.

Как был устроен эксперимент с 3 000 научных статей

По переданным сведениям, исследование Майкла Телвела и Эксона Мохамеди опубликовали 2 марта 2026 года в журнале Scient Matric. В описании эксперимента проверяли, как модели анализируют названия и аннотации научных публикаций. В выборку, согласно этому описанию, вошли примерно 3 000 статей из медицины, здравоохранения и биологии. Затем оценки моделей сопоставили с оценками экспертов, которых использовали как ориентир для сравнения. Первичная публикация, ссылка на неё или цитата из неё в переданных материалах отсутствуют, поэтому дату, название журнала и параметры эксперимента нельзя подтвердить по представленным данным.

Такой дизайн, если описание эксперимента передано точно, проверяет не способность модели полностью рецензировать статью, а её умение распознавать признаки научной значимости в кратком описании. К ним относятся ясность исследовательского вопроса, согласованность заявленной цели и результата, характер выборки, описание метода и осторожность формулировок. Если аннотация не сообщает ключевые ограничения, модель не получает сведений, которые могли бы изменить вывод.

Массив примерно из 3 000 публикаций делает сравнение содержательнее единичной демонстрации, если состав выборки и процедура оценки описаны достаточно подробно. Сам по себе большой объём выборки методические вопросы не снимает. Для интерпретации результата нужно знать состав выборки, распределение оценок экспертов, критерии научного качества, язык статей и способ измерения совпадения между ответами модели и людей. В переданных материалах эти детали не раскрыты, поэтому результат следует понимать как описание заявленного эксперимента, а не как универсальную норму точности.

Какие открытые модели участвовали в оценке

В описании эксперимента названы Gemma 3, Qwen 3 и DeepSeek R1. Их представляют как открытые или доступные для самостоятельного развёртывания языковые модели, однако конкретные версии, размеры моделей и настройки запуска в представленном описании не указаны. Для научного сравнения такие параметры важны: одна и та же модельная линия может заметно различаться по качеству в зависимости от числа параметров, режима рассуждения, шаблона запроса и ограничений контекста.

Gemma 3 в обзоре отнесена к семейству лёгких открытых моделей Google DeepMind. В техническом описании семейства, на которое ссылается автор, указаны варианты от 1 до 27 миллиардов параметров, поддержка длинного контекста, а для части моделей также обработка изображений. Эти возможности не означают, что любая версия Gemma 3 лучше оценивает статьи. Для поставленной задачи важнее выбранная инструкция, формат ответа и качество проверочного набора.

DeepSeek R1 в обзоре описана как семейство моделей с акцентом на рассуждение. В опубликованном описании одной из версий DeepSeek, согласно переданным сведениям, указаны открытые веса, поддержка коммерческого использования по условиям заявленной лицензии и возможность локального запуска при наличии подходящей инфраструктуры. Эти сведения характеризуют модель как инструмент для самостоятельного развёртывания, но не подтверждают её точность именно в оценке научных публикаций.

Qwen 3 в исходных утверждениях назван среди участников эксперимента. Доступных сведений недостаточно, чтобы установить, какая именно версия Qwen 3 использовалась и проходила ли она дополнительную настройку под научную литературу. Прямое ранжирование трёх семейств по качеству было бы необоснованным.

Что означает сопоставление с экспертами

Экспертная оценка в таком эксперименте служит эталоном сравнения, но не абсолютной истиной. Рецензенты тоже расходятся во мнениях, особенно когда речь идёт о междисциплинарных работах, ранних результатах или статьях с неоднозначной методологией. Модель может совпасть с большинством экспертов, не понимая научную причинность, а эксперт может отвергнуть работу, которую позднее подтвердят другие исследования.

Ключевой показатель должен описывать не впечатление от отдельных ответов, а устойчивость совпадения с человеческими оценками на всём наборе. Желательно отдельно проверять корреляцию, согласие по категориям качества, долю ложноположительных решений и долю пропущенных сильных работ. В переданных данных конкретные метрики и численные результаты не приведены, поэтому близость к экспертам следует трактовать как заявленный итог исследования, без приписывания ему отсутствующих процентов или рейтингов.

Отдельная проверка нужна, чтобы понять, не подменяет ли модель оценку научного качества оценкой убедительности текста. Хорошо написанная аннотация может скрывать слабый дизайн исследования, небольшой объём выборки или некорректный статистический вывод. И наоборот, важная работа из узкой области может выглядеть непривлекательно для модели из-за сложной терминологии и сдержанного стиля авторов.

Почему названия и аннотации недостаточно

Аннотация не содержит всего материала, необходимого для полноценной экспертизы. В ней часто отсутствуют исходные данные, код, подробности протокола, критерии исключения участников, описание контрольной группы и сведения о побочных результатах. Для медицинских публикаций особенно значимы дизайн исследования, регистрация протокола, клинические исходы и конфликт интересов. Эти элементы нельзя надёжно восстановить из нескольких абзацев.

• Методология. Модель видит заявленный метод, но не проверяет, действительно ли авторы применили его корректно.
• Данные. Название и аннотация не позволяют самостоятельно обнаружить ошибки в таблицах, пропуски и смещение выборки.
• Статистика. Краткое описание результата не заменяет проверку расчётов, доверительных интервалов и устойчивости выводов.
• Новизна. Модель может принять знакомую формулировку за научную ценность, хотя заявленный результат уже опубликован.
• Воспроизводимость. По аннотации нельзя установить, повторят ли независимые исследователи полученный результат.

А что произойдёт, если система поставит низкую оценку статье с важным, но плохо сформулированным результатом? Публикация может потерять внимание редактора или исследователя ещё до чтения полного текста. Автоматический балл должен направлять внимание, а не закрывать доступ к работе.

Какие задачи можно автоматизировать уже сейчас

Наиболее безопасный сценарий связан с сортировкой, а не с окончательным решением. Модель может выделить статьи для первичного чтения, сгруппировать публикации по теме, извлечь заявленные методы и результаты, отметить отсутствие ключевых сведений в аннотации и подготовить краткое объяснение выставленной оценки. Такой процесс экономит время, если человек сохраняет право пересмотреть любой результат.

1. Система получает библиографические записи, названия и аннотации.
2. Модель оценивает публикации по заранее заданной шкале и указывает признаки, повлиявшие на вывод.
3. Редактор или исследователь проверяет статьи с высоким приоритетом и случайную часть остальных записей.
4. Команда сравнивает решения модели с решениями специалистов и корректирует инструкцию.
5. Изменения версий модели и промптов фиксируются, чтобы результаты разных периодов оставались сопоставимыми.

Для журнала такая система может работать как фильтр входящего потока, но не как автоматический отказ автору. Исследовательская группа использует её при подготовке обзора литературы. Библиотеке или аналитическому сервису важнее не единая оценка качества, а прозрачные метки: тематическая релевантность, наличие метода, тип исследования и необходимость ручной проверки.

Почему ИИ не заменяет рецензирование

Рецензирование включает проверку аргументации, методов, данных, этических аспектов и связи вывода с результатами. Языковая модель генерирует оценку на основе входного текста и не получает собственного доступа к лабораторному эксперименту, первичным измерениям или реальному поведению участников исследования. Даже сильная модель может уверенно воспроизвести ошибочную интерпретацию, если авторы убедительно изложили её в аннотации.

Полная замена эксперта потребовала бы не только высокой точности, но и объяснимой процедуры, устойчивой к манипуляциям, контроля конфликта интересов и ответственности за решение. В научной редакции такая ответственность принадлежит редактору и рецензентам, а не статистической модели. Открытые веса упрощают локальный запуск и аудит системы, но сами по себе не гарантируют достоверность выводов.

По переданным сведениям, итог эксперимента показывает перспективность открытых моделей в первичной оценке научных статей. Небольшие модели, согласно описанию автора обзора, продемонстрировали результаты на уровне младших облачных моделей, которые автор называет GPT-4 Mini и Gemini 2.0 Flash. Это наблюдение относится к конкретному тестовому сценарию; первичный источник и численные показатели в доступных материалах отсутствуют, поэтому оно не доказывает равенство моделей во всех научных дисциплинах и задачах.

Практическое правило выглядит просто: ИИ сортирует и объясняет, эксперт проверяет и решает. Чем выше цена ошибки, тем больше исходных материалов должна увидеть система и тем обязательнее ручная проверка полного текста, данных и методологии.

Частые вопросы

Может ли открытая модель оценить научную статью только по аннотации?

Она может дать предварительную оценку заявленной научной убедительности и релевантности. Такая оценка не подтверждает корректность эксперимента, статистики или исходных данных.

Близки ли открытые модели к экспертам?

В описанном эксперименте на примерно 3 000 статей их оценки сопоставляли с экспертными. Переданные материалы не содержат первичной цитаты, точных метрик и подробностей процедуры, поэтому нельзя назвать конкретную степень совпадения или сделать вывод о превосходстве одной модели над другой.

Можно ли использовать такую систему в научном журнале?

Да, для сортировки рукописей, тематической классификации и подготовки материалов для редактора. Автоматический балл не должен быть единственным основанием для отказа, назначения рецензента или публикации.

Что нужно проверять перед внедрением?

Нужно проверить состав тестовой выборки, критерии экспертной оценки, устойчивость результатов по дисциплинам, долю ошибок и влияние формулировок аннотаций. Отдельно фиксируют версию модели, параметры запуска и шаблон запроса.