ИИ растет вдвое каждые 7 месяцев

ИИ растет вдвое каждые 7 месяцев

Результаты нового исследования METR показывают, что способности ИИ растут в геометрической прогрессии. За последние 6 лет объем задач, с которыми справляются ИИ-системы, удваивался каждые 7 месяцев.

При сохранении такой динамики года через 3 мы можем увидеть системы, способные автоматизировать месячные программные проекты.

Напомню, что закон Мура описывал удвоение вычислительной мощности каждые 18-24 месяца — темпы роста ИИ значительно быстрее.

Как измерить «интеллект» машины?

Исследователи METR.org предложили интересный подход (paper) к оценке возможностей ИИ. Их метрика METR (Measuring Exponential Task Resolution) анализирует «временной горизонт завершения задачи на 50%» — то есть, насколько сложные задачи ИИ может решать с 50-процентной вероятностью успеха по сравнению с человеком.

— Лидер зачёта — Claude 3.7 Sonnet — справляется с задачами длительностью до 50 минут

— Текущие модели с вероятностью почти 100% выполняют задачи, которые занимают у людей менее 4 минут

— В основе исследования — анализ производительности на базе существующих бенчмарков (RE-Bench, HCAST) и 66 новых тестовых заданий

Главное достоинство метрики — она позволяет наглядно сравнить реальные возможности ИИ и человека. Такой практический подход хорош — он помогает перейти от абстрактных оценок к пониманию реального прогресса ИИ в терминах человеческой производительности.

Текущие ограничения ИИ

Современные модели ИИ все еще имеют серьезные ограничения при работе со сложными долгосрочными задачами. Этот разрыв хорошо виден между впечатляющими результатами на тестах и реальной способностью выполнять практические проекты:

— Успешность ИИ падает до 10% на задачах, которые занимают у экспертов более 4 часов

— ИИ-агентам сложно выстраивать длинные последовательности действий, даже если они умеют выполнять каждый шаг по отдельности

— Качество работы заметно падает даже на текстах короче технического максимума модели

— Логическое мышление и способность адаптироваться к ошибкам остаются проблемными областями, особенно в длительных задачах

Похоже, наши ИИ-коллеги пока что страдают профессиональным выгоранием после первого часа работы.

https://t.me/neurocry