Эволюция искусственного интеллекта приводит к увеличению галлюцинаций — стоит ли их остановить?

Интенсивное развитие искусственного интеллекта (ИИ) неизбежно сопровождается ростом уровня его автономии и сложности, однако одновременно с этим увеличивается и частота так называемых «галлюцинаций» — случаев, когда ИИ выдает неправдивую или искаженную информацию. Эта проблема становится все более актуальной, и многие ученые задаются вопросом: возможно ли полностью устранить эти ошибки, и стоит ли вообще стараться?

Что такое галлюцинации в AI и почему они возникают?

Галлюцинации — это ситуации, когда модель искусственного интеллекта генерирует текст, содержащий вымышленные факты, цитаты или события, зачастую без всякого реального основания. Например, чатбот может назвать несуществующую научную статью, придумать недостающие даты или «связать» события, которых не было. Впервые этот феномен был выявлен в исследованиях крупномасштабных языковых моделей (LLMs), таких как GPT-3 и аналоги. Большинство современных моделей используют так называемый «статистический подход» — они строят ответы на основе вероятностных связей в огромных массивах данных, что, несмотря на эффективность, порождает ошибочные выводы.

Исследования, проведённые компанией OpenAI, показали, что их последние модели — GPT-4-mini и GPT-3, о которых идет речь в научных кругах — ошибаются (или «галлюцинируют») в 33% и 48% случаев соответственно при тестах по стандарту PersonQA. Это более чем в два раза выше, чем у их предшественников. Несмотря на то, что новые модели демонстрируют повышенную точность, их склонность к ошибкам только возрастает, особенно при решении сложных задач.

Почему современные AI всё чаще «видят» несуществующее?

Чтобы понять природу галлюцинаций, важно учитывать особенности построения reasoning-моделей — систем, способных к логическому мышлению. В отличие от простых статистических алгоритмов, reasoning-модели разбивают сложные задачи на компоненты и находят стратегию их решения — почти как человек. Такой подход делает ИИ способным «придумывать» новые идеи и гипотезы, что критически важно для креативных задач. Именно эта способность к «галлюцинациям» превращает AI в «мечту», а не ошибку».

«Галлюцинация — это не ошибка, а особенность, — говорит известный специалист в области AI Sohrob Kazerounian. — Всё, что выводит модель — это не что иное, как её интерпретация данных, которые она «видела» во время обучения. Если модель только воспроизводит то, что уже было, — она превращается в очень сложный поиск информации. Галлюцинации же позволяют ей создавать что-то новое, что никогда не было прямо зафиксировано в данных, — это ключ к инновациям и креативности».

Рост сложности и затруднения в обнаружении ошибок

Проблема в том, что с развитием модели возрастает не только точность, но и возможность скрытых ошибок, которые трудно обнаружить на первый взгляд. В более новых версиях расхождения между правдой и ложью все чаще интегрированы в правдоподобные нарративы, что создаёт иллюзию абсолютной достоверности. Исследования показывают, что современные модели могут успешно «замаскировать» свои ошибки, делая выводы настолько логичными и связными, что даже эксперты не могут сразу определить их неправильность.

«Это вызывает опасения, — отмечает Eleanor Watson, специалист по этике искусственного интеллекта из IEEE. — Чем умнее становится модель, тем сложнее выявлять её ошибки, особенно тех, что представлены в виде ложных, но правдоподобных историй. Пользователи зачастую воспринимают такой вывод как достоверный, даже если он содержит ошибки, и это может стать причиной серьёзных ошибок в важных областях — медицине, юриспруденции, финансах».

Почему увеличение уровня интеллекта приводит к большему количесту галлюцинаций?

Несмотря на логичное предположение, что развитие моделей должно снижать количество ошибок, практика показывает обратное. Новейшие модели начинают hallucinate чаще, а не реже. Причина этого кроется в природе reasoning-моделей, которые, в стремлении решать сложные задачи, порой «выдумывают» ответы, не имеющие объективных оснований.

«Объяснить, почему так происходит, довольно сложно, — делится Dario Amodei, руководитель компании Anthropic. — Оказывается, у нас практически нет понимания, как именно эти системы приходят к конкретным ответам. Мы не можем в полной мере проследить их внутренний логический процесс».

В итоге последние исследования показывают, что гипотеза о постепенном улучшении моделей в плане точности — неверна. Самые продвинутые системы зачастую ведут себя более «галлюцинаторно», чем их предшественники, что вызывает серьёзные вопросы о возможности их контролирования и улучшения.

Можно ли остановить галлюцинации?

Многие ученые и инженеры ищут решения этого вопроса. Варианты борьбы включают несколько стратегий, направленных на снижение частоты и риска ошибок:

• Использование источников внешних данных (retrieval-augmented generation) — когда модель опирается на внешние, проверенные источники информации, а не только на внутренние веса нейросети.
• Структурирование reasoning-процессов — внедрение систем логической проверки собственных ответов, сравнения альтернативных гипотез и последовательной проверки информации.
• Обучение с обратной связью (reinforcement learning) — привлечение человеческих экспертов или автоматических систем оценки для повышения точности и надежности вывода.
• Обучение модели распознавать свою неопределенность — создание механизмов, когда ИИ сигнализирует о своей неуверенности или отсылает вопрос к человеку для подтверждения.

Стоит ли вообще бороться с галлюцинациями?

Некоторые ученые считают, что полностью устранить галлюцинации невозможно — это внутренняя часть «функции» reasoning. В этом есть своя логика: создание новых, иногда совершенно непредсказуемых идей и гипотез — важный аспект креативных процессов, а также инструмент для исследования новых решений.

«Галлюцинации — это не ошибка, а средство для генерации новых идей и решений,» — утверждает эксперт по AI Sohrob Kazerounian. — Все современные модели, по сути, «придумывают» гипотезы, которые могут оказаться полезными или ошибочными. Важно лишь научиться различать эти две категории».

Тем не менее, в критически важных сферах — медицине, праве, финансах — необходимость повышения надежности и точности становится первостепенной. ИИ, выдающий ложную информацию, может привести к серьезным последствиям — от неправильных диагнозов до финансовых потерь в миллионы рублей.

Выводы и перспективы

Итак, самый главный вызов в области AI сегодня — найти баланс между креативностью и надежностью. Внедрение новых методов, таких как фильтрация информации, структурированные reasoning-процессы и распознавание собственной неопределенности, позволяет снизить риски, но полностью избавиться от галлюцинаций в ближайшей перспективе маловероятно.

Параллельно с этим, важна прозрачность алгоритмов и высокий уровень научной этики при разработке и внедрении систем ИИ. В будущем исследования, вероятно, сосредоточатся на более тонкой адаптации моделей к задачам, требующим высокой точности, и созданию новых стандартов контроля ошибок для AI-систем.