Как научить нейронку рефлексировать

Как научить нейронку рефлексировать

Наткнулся на Hackernews на любопытный репозиторий под названием Chain of Recursive Thoughts (CoRT) — буквально «цепочка рекурсивных мыслей». Идея простая (более того, она и не новая — я уже писал про саморегулируемый «цикл рассуждений», но тут есть OSS имплементация): что, если дать языковым моделям размышлять в несколько этапов, постоянно «рефлексируя» над собственными размышлениями и улучшая их?

Некоторые из вас наверняка знакомы с концепциями вроде Chain-of-Thought (CoT), когда ИИ для ответа на сложный вопрос сначала расписывает промежуточные шаги и только потом выдает финальный результат. Подход зарекомендовал себя — он помогает моделям лучше структурировать свои решения и избегать типичных ошибок.

Автор CoRT пошёл дальше. Вместо одной цепочки рассуждений он заставляют модель возвращаться к своим же ответам снова и снова, рекурсивно, задавая самой себе уточняющие вопросы и исправляя собственные ошибки. Такой подход моделирует цикл «размышление-рефлексия-переработка», привычный человеческому мозгу.

Это фактически не требует модификации самой ИИ-модели. Никаких дообучений, никаких новых параметров. Всё, что нужно — правильно сформулированный промпт и хитро устроенный рекурсивный цикл генерации вопросов и ответов.

Вот как примерно выглядит простая схема работы CoRT:

1. Задаем модели вопрос и получаем ответ. 2. Модель затем сама генерирует дополнительные вопросы на основе этого ответа, «анализируя» его слабые или недостающие места. 3. Каждый новый вопрос и ответ рекурсивно порождает дополнительные до тех пор, пока модель не прийдет к четкому и значительно улучшенному финальному решению.

Автор изначально проверили свой подход на задачах планирования действий и принятия решений — типа построения плана путешествия и оптимизации расписания. Выяснилось, что рекурсивное усложнение мысли позволяет LLM гораздо успешнее справляться с длинными и многокомпонентными задачами, по сравнению с базовыми способами рассуждения (даже со стандартным CoT).

Да, это по-прежнему языковая модель, легко попадающая в ловушку галлюцинаций. Но даже сейчас (по тестам автора, правда), CoRT позволяет существенно снизить число логических промахов за счет самоанализа и автокоррекции.

Я проверил CoRT на mistral-small-3.1-24b (по «мощности» — на верхней границе самых слабых моделей), результат на видео: неожиданное заигрывание с вариантами формулировок ответа (правильного, кстати).

Как попробовать самим:

— Регистрируетесь на Openrouter (бесплатно) и генерируете ключ. — Идёте в консоль (aka терминал) и

bash

git clone https://github.com/PhialsBasement/Chain-of-Recursive-Thoughts.git && cd Chain-of-Recursive-Thoughts

bash
pip install -r requirements.txt

bash
python recursive-thinking-ai.py

— Вставляете ключ. — Общаетесь.

По дефолту активируется та же mistral модель, в скрипте можно заменить на любую другую. Там же, кстати, можно наглядно изучить промты, которые скармливаются в LLM.

Почему это важно?

Перед нами отличный пример того, что пока многие пытаются бесконечно наращивать количество параметров моделей и вычислительные мощности, есть элегантные пути использовать существующие ИИ гораздо эффективнее, изменяя только способы взаимодействия с ними.

В общем, рекомендую внимательно понаблюдать за подобными идеями в ближайшее время.

/ Не запрещена в РФ