AI chatbots oversimplify scientific studies and gloss over critical details — the newest models are especially guilty
Наука движется вперёд с невероятной скоростью, предоставляя всё новые знания о мире, медицине, технике и окружающей среде. Однако, с появлением современных моделей искусственного интеллекта (ИИ), таких как ChatGPT, Llama и DeepSeek, возникает серьёзная проблема — эти системы всё чаще упрощают сложные научные исследования и скрывают важные нюансы. В результате может формироваться искажённое представление о последних достижениях, что опасно как для специалистов, так и для широкой публики.

Почему ИИ дополняет научные тексты ошибками
Исследование, опубликованное в журнале Royal Society Open Science 30 апреля, выявило, что современные модели языковых систем в пять раз чаще, чем опытные эксперты, предоставляют чрезмерно обобщённые и в ряде случаев искажающие научные результаты резюме исследовательских работ. Это особенно заметно при запросах на точность — когда ИИ вынужден описывать исследования в минималистичной форме. В таких случаях вероятность появления ошибок возрастает вдвое по сравнению с более простым кратким изложением.
Авторы исследования подчеркнули, что последние версии ИИ более склонны к переобобщениям, чем их предшественники. Особенно опасной стает ситуация, когда такие системы начинают выдавать «авторитетные», но искажённые ответы, создавая иллюзию абсолютной точности. Среди ключевых причин — структура самих моделей, обработка информации через сложную цепочку вычислительных слоёв, где часть важной информации может быть утеряна или искажена.
Проблемы с точностью и опасные последствия
Типичный пример — медицинские рекомендации, автоматически сформированные ИИ. В одном из кейсов модели DeepSeek изменили фразу «был безопасным и успешно выполнен» на «является безопасным и эффективным вариантом лечения» — это кардинальное искажение исходных данных. Такой вывод потенциально опасен: врач, основываясь на подобной информации, может назначить препараты вне их допустимых дозировок или применять методы, не соответствующие реальным медицинским стандартам.
В другом случае Llama расширил область эффективности препарата для лечения диабета 2 типа у молодёжи, исключив важные параметры: дозу, частоту применения и побочные эффекты. Эта неточность могла бы привести к неправильным назначением, что в медицине — недопустимо.
Обзор ключевых результатов исследования
При исследовании 10 крупнейших языковых моделей, включающих четыре варианта ChatGPT, три версии Claude, два Llama и DeepSeek, было выявлено следующее:
- Большинство моделей склонны к переобобщению. За исключением Claude, все они в два раза чаще, чем люди, склонны к искажению смыслов при запросах на точность.
- Пять раз выше риск чрезмерного обобщения. В целом, автоматические резюме в пять раз чаще, чем человеческие, содержат преувеличения и неправильные выводы.
- Наиболее уязвимы к искажению данные, связанные с количественными показателями. Например, переход от конкретных чисел к общим утверждениям ведёт к созданию опасных и недостоверных рекомендаций.
Исследователи отметили, что такие ошибки искажают не только научную информацию, но и могут привести к опасным для жизни последствиям в здравоохранении. Вразрез с ожиданиями, более крупные и сложные модели не лучше справляются с нюансами, чем их предшественники. Они склонны к "размыванию" границ смыслов и сокращению важной информации, что особенно опасно при работе с медицинскими, техническими или правовыми данными.
Почему это происходит и что в этом опасного
Главная причина — конструкция современных моделей. Они работают по принципу фильтрации информации через несколько слоёв, постепенно обобщая и упрощая исходные данные. Проще говоря, это как использовать сломанный фотокопир — каждое новое копирование увеличивает, выделяет и изменяет исходный образ. В результате важные детали, контекст или ограничения могут исчезнуть или исказиться.
«Глобализация информации — это зачастую полезно, но в науке она может привести к потере важнейших нюансов, что прямо влияет на качество исследований и на доверие к научной базе».
Эксперты подчеркивают: проблема усугубляется, когда автоматические системы применяются к узкоспециализированным областям без должного контроля со стороны профессионалов. В медицине, праве или инженерии ошибки могут стать причиной серьёзных последствий, а надёжность автоматизированных кратких обзоров остаётся под вопросом.
Что требуется для повышения доверия к ИИ в науке
- Разработка встроенных механизмов контроля. Перед выпуском результатов автоматических обзоров необходимо внедрять системы оценки точности и полноты информации.
- Обучение моделей на более глубоких и специализированных источниках. Использование первичных научных данных вместо журналистских статей поможет снизить число ошибок.
- Вовлечение экспертов. При создании научных обзоров — особенно в критичных сферах — важно привлекать профессионалов, чтобы они контролировали финальный продукт.
- Обучение пользователей. Врачи, исследователи и журналисты должны понимать ограничения ИИ и уметь интерпретировать его выводы правильно.
Только сочетание этих мер позволит повысить качество и надёжность автоматизированных научных обзоров, снизить риск распространения ошибок, и, как следствие, — повысить уровень доверия общества к достижениям современной науки и технологиям.
Заключение
Использование искусственного интеллекта в научной сфере — это инструмент мощный, но требующий аккуратности и научного подхода. В противном случае риск возникновения масштабных ошибок и искажения знаний возрастает в геометрической прогрессии. Для России и мира эта проблема становится особенно актуальной в свете растущего интереса к автоматизации и быстрому распространению информации, где человеческое участие и критическое мышление остаются незаменимыми. В конечном счёте, только совместное усилие учёных, разработчиков и пользователей поможет создать системы, которые действительно служат науке, а не создают её искаженную версию.