Ученые создали ИИ, превосходящий ChatGPT в рассуждениях благодаря новой архитектуре

В мире искусственного интеллекта произошли революционные изменения. Недавно группа ученых из компании Sapient, расположенной в Сингапуре, представила новую модель искусственного интеллекта (ИИ), которая кардинально отличается от привычных крупных языковых моделей (КЯМ), таких как ChatGPT. Эта разработка обещает не только повысить качество работы систем, но и открыть новые горизонты в области машинного мышления и логики.

Что такое и как работает новая модель — иерархическая модель рассуждений (HRM)

Основная идея, легшая в основу HRM, — это вдохновение функционированием человеческого мозга. В отличие от традиционных КЯМ, основанных на обработке огромных массивов текста и статистических связях, новая модель использует принципы иерархической и многомесячной обработки информации. В человеческом мозге разные области интегрируют информацию за разные промежутки времени — от миллисекунд до минут — что позволяет более гибко и глубоко рассуждать.

В HRM реализована структура, разделенная на два модуля — один занимается глобальным планированием и абстрактным мышлением, другой — быстрыми, детализированными вычислениями. Такой подход напоминает работу мозга, который задействует разные области для решения сложных задач. Это существенно отличается от chain-of-thought (цепочки размышлений), используемой в большинстве современных КЯМ, где сложные задачи разбиваются на более мелкие шаги, а система учится — разбивая проблему на последовательные части.

Преимущества и ключевые особенности HRM

• Меньше параметров и данных: Для обучения новой модели требуется всего 27 миллионов параметров и около 1000 образцов данных. В сравнении: наиболее крупные модели, такие как GPT-4 или GPT-5, имеют триллионы параметров, а обучение их обходится в миллионы долларов и требует сотен тысяч образцов.
• Более высокая эффективность: Благодаря архитектуре, основанной на иерархическом подходе, HRM показывает более высокие результаты в сложных задачах, не уступая по качеству моделям с гигантскими объемами параметров.
• Улучшенное рассуждение: Новая модель способна выполнять более точные выводы и принимать решения по сложным вопросам, опираясь на внутренние, непрямые связи между данными.

Результаты тестирования и достижения HRM

Для оценки возможностей новой модели ученые использовали популярный бенчмарк ARC-AGI — тест, имитирующий задачи, близкие к уровню искусственного общего интеллекта (ИИГИ). Этот бенчмарк считается одним из самых суровых критериев оценки таких систем.

В результате HRM набрала:

1. 40.3% при прохождении ARC-AGI-1, что значительно лучше, чем показатели конкурентов: 34.5% у o3-mini-high от OpenAI, 21.2% у Claude 3.7 от Anthropic и 15.8% у Deepseek R1.
2. В более сложной части ARC-AGI-2 модель набрала 5% против 3% у o3-mini-high, 1.3% у Deepseek R1 и менее 1% у Claude 3.7.

Это свидетельствует о существенном прогрессе в области рассуждений и общего интеллекта у этой модели. Особенно впечатляет результат по задачам, требующим нестандартного мышления и сложных логических операций, таких как решения сложных судоку или поиск кратчайших путей в лабиринтах.

Отличия от chain-of-thought и преимущества нового подхода

Большинство современных КЯМ используют метод chain-of-thought, что означает разбивание сложной задачи на промежуточные шаги, сформулированные в естественном языке и последовательно выполняемые моделью. Этот подход имитирует человеческий процесс мышления, но обладает рядом недостатков:

«Brittle task decomposition, extensive data requirements, and high latency» — «Хрупкая разметка задач, большие требования к обучающим данным и высокая задержка». Эти слова отражают основные ограничения chain-of-thought.

В отличие от этого, HRM выполняет рассуждения последовательно, без необходимости явного деления задач на шаги. Она использует два модуля: один — для глобального планирования, другой — для детализации и быстрого вычисления. Такой подход позволяет системе:

Практические результаты и потенциальное влияние

Исключительные результаты HRM проявились в выполнении задач, которые традиционные модели могли решить лишь случайно или вообще не справлялись с ними. Например, модель успешно решала сложные судоку, находила оптимальные пути в лабиринтах и выполняла логические выводы, значительно превосходя стандарты в области.

Еще более важным является факт, что исследование еще не прошло рецензирование, однако команда разработчиков открыла исходный код модели на платформе GitHub, что позволяет независимым ученым повторить и протестировать результаты. Проверка продемонстрировала, что существенные улучшения связаны не только с архитектурой, но и с использованием эффективных методов обучения и оптимизации, реализованных в процессе тренировки.

Что дальше? Перспективы и вызовы

Создание модели HRM — это важный шаг на пути к развитию искусственного общего интеллекта. Она показывает, что эффективное мышление и рассуждения можно реализовать в меньшем объеме параметров, фокусируясь на архитектурных принципах, похожих на работу человеческого мозга.

Тем не менее, перед научным сообществом стоит множество вопросов: как масштабировать такой подход, можно ли его адаптировать для более широкого спектра задач и как обеспечить его безопасность. Важной задачей остается развитие методов обучения, которые позволят системам не только думать, но и учиться на новых данных без необходимости глобальной дообучения.

Несмотря на это, успех HRM подчеркивает, что ближайшее будущее — за моделями, которые подчеркивают не объем параметров, а архитектурную инновацию и принципы, вдохновленные природой человека. Это открывает дорогу к созданию ИИ, способного к по-настоящему глубокому рассуждению.