Если OpenAI внедрит свою идею, ChatGPT умрет завтра

Проблема галлюцинаций искусственного интеллекта становится всё более острой. Новейшие исследования компании OpenAI показывают, что попытки устранить или минимизировать ложные факты в моделях языка могут привести к полному краху технологий вроде ChatGPT. Более того, это не просто вопрос улучшения алгоритмов – это вопрос их фундаментальной работы, которая, если реализовать предложенные меры, сделает ChatGPT абсолютно непригодным для использования в большинстве приложений.

Почему модели языка так часто врут

Модели обработки естественного языка (ЛЛМ) обучаются на огромных массивах текстов, собираемых из Интернета. Эти тексты содержат миллионы фактов, мнений и утверждений, но зачастую с ошибками, противоречиями или устаревшими данными. В процессе обучения модели учатся предсказывать следующее слово, основываясь на предыдущих, что приводит к естественной «пропуску» ошибок – модель считает вероятным, что следующая фраза должна идти именно так, даже если она ложная.

Эти ошибки – закономерный результат математической природы прогнозирования, а не недосмотра разработчиков или плохой выборки данных.

Исследования OpenAI показывают, что вероятность «галлюцинаций» – то есть уверенного утверждения ложной информации – не просто плата за обучение на больших данных. Они и есть математикумически неизбежный побочный эффект. Другое дело, что ошибка на каждом шаге накапливается: одна неправильная версия ответа порождает следующую, и так далее. В результате даже небольшие ошибки перерастают в масштабные ложные утверждения, которые модель воспринимает как правду.

Проблема оценки уверенности и её последствия

Ученые выявили, что чем меньше модель знает о конкретном факте — тем выше риск её галлюцинации при его запросе. Например, при ответе на вопрос о дне рождения известной личности, если всего 20% данных о ней встречаются в обучающем наборе, модель с вероятностью 20% ошибется. И это уже не теория, а реальные кейсы: однажды ChatGPT называл неправильные даты рождения известных политиков, ученых и артистов, несмотря на свои уверенные формулировки.

Фундаментальная проблема в том, что большинство текущих оценочных систем искусственного интеллекта основаны на бинарных оценках — правильно или неправильно — что стимулирует модель всегда делать предположения, чтобы повысить свои «баллы». Исследование показало, что при оценке с помощью таких метрик модели склонны давать ложные ответы даже чаще, чем молчать или честно сказать: «Я не знаю». Поэтому большинство систем предпочитают угадывать, что в будущем порождает лавину галлюцинаций.

Почему предложение OpenAI может погубить ChatGPT

В рамках своей последней научной работы OpenAI предложила следующий кардинальный подход: заставить модель оценивать свою собственную уверенность перед ответом. Идея состоит в том, чтобы AI отвечал только при уверенности выше заданного порога (например, 75%). Для этого модель должна будет иметь встроенную функцию оценки своей уверенности, а системы оценки тоже должны учитывать этот уровень точности.

На первый взгляд, это кажется революционным. Модель начнет избегать ошибок, будет честно признавать, когда не знает ответа, и, следовательно, количество галлюцинаций значительно снизится. Однако последствия такого подхода для потребительского опыта и бизнес-приложений могут стать катастрофическими.

Что произойдет, если ChatGPT начнет говорить «Я не знаю»

Представим, что ChatGPT, внедрив такую систему оценки уверенности, станет говорить «Я не знаю» примерно в 30% случаев, что является весьма осторожной оценкой. Пользователи привыкли получать быстрые и уверенные ответы — даже если они ошибочны. В результате их доверие к системе снизится, а количество обращений к другим источникам информации резко возрастет.

Уже сегодня известны случаи, когда крупные системы, пытаясь избегать ошибок, начинают «отмакивать» даже простейшие вопросы. Например, на запрос о дне рождения известного ученого модель без колебаний отвечает неправдой. Если же вводить систему оценки уверенности, то модели настолько часто будут признавать, что «не знают», что пользователи быстро устанут и перейдут к более традиционным, менее надежным источникам информации.

В мире аналитики и научных исследований именно доверие к источнику определяет его ценность. Постоянные «неуверенные» ответы отпугнут даже самых лояльных клиентов.

Экономика сложности и вычислительные издержки

Разработка моделей с встроенной функцией оценки уверенности — это не только технологический вызов, но и значительные затраты. Поддержка такой системы требует оценки множества вариантов ответа и расчетов вероятностей. Для современных потребительских систем это увеличит вычислительные ресурсы как минимум в 2–3 раза. Это означает рост операционных расходов, которые, в свою очередь, приведут к повышению стоимости услуг или снижению их качества.

В сфере бизнеса и критической инфраструктуры, где ошибочные решения могут иметь финансовые или человеческие последствия, такие подходы оправданы. Там стоимость ошибок превышает затраты на вычисление. Однако для массовых потребительских продуктов подобная экономическая модель кажется неприемлемой. В результате, искусственный интеллект скорее всего продолжит угадывать, потому что так дешевле и быстрее.

Могут ли технологии решить проблему галлюцинаций?

• Да, задачи оценки уверенности и активного обучения решаемы с помощью классических методов, проверенных десятилетиями, и могут значительно снизить уровень ложных ответов.
• Однако, внедрение таких решений в массовом сегменте сталкивается с преодолимыми, но очень существенными препятствиями — высокой вычислительной сложностью и отсутствием экономической мотивации.
• Самое главное — стимулы индустрии ориентированы на скорость и уверенность, а не на абсолютную точность, особенно когда речь идет о массовых пользовательских продуктах.

Заключение

Идея OpenAI о повышении оценки уверенности — это, безусловно, научное достижение, которое показывает, насколько глубоко связаны между собой математические основы и практическое применение искусственного интеллекта. Однако, реализовав эту концепцию в полном объеме, мы можем столкнуться с тем, что ChatGPT утратит свою главную ценность — способность быстро и уверенно отвечать на любые вопросы. В итоге, для массового рынка настолько «честное» ИИ станет слишком дорогим, а для пользователей — слишком неудобным. Таким образом, вопрос не в том, как сделать ИИ идеально точным, а в том, что внутри системы важнее — доверие или скорость и уверенность.

Пока бизнес-модели и исследования не изменят своих приоритетов, галлюцинации останутся частью природы языковых моделей. А попытки их устранения могут привести к тому, что одна из самых популярных систем искусственного интеллекта — ChatGPT — станет либо менее полезной, либо вообще исчезнет из массового рынка.