Подписаться
Опубликовано

«Нормальный ИИ»: почему не нужно ждать сверхразум

Автор
  • Имя
    Нейрократия
    Telegram

«Нормальный ИИ»: почему не нужно ждать сверхразум

Обычно дискуссия о будущем ИИ подсвечивает две темы: либо перед нами таинственное сверхсущество, ждущее момента для захвата человечества, либо — революционная сила, меняющая мир в мгновение ока.

Новая работа профессоров Арвинда Нараянана и Саяша Капура «AI as Normal Technology» (советую почитать) предлагает куда менее сенсационный, зато более реалистичный сценарий — ИИ как «нормальная технология». Это значит, что искусственный интеллект — важнейший прорыв, но всё ещё такой же, как когда-то электричество, интернет или компьютер: значимый, но развивающийся и адаптируемый постепенно.

Главная идея авторовсверхразумный ИИ, опасный и неподконтрольный человеку, едва ли возможен по чисто техническим причинам. Вместо этого перед нами вполне политически и социально понятная картина постепенного внедрения технологии, которая меняет мир не рывками, а волнами, с задержками, ошибками и неизбежными откатами, как и любая другая массовая инновация.

3 ключевых тезиса авторов:

1. Внедрение ИИ — долгий процесс с естественными скоростными ограничениями.

Создание новых методов (например, LLM-моделей) происходит быстро, но от новых технологий до реальных массовых приложений очень долгая дорога. И еще более длинный путь — от приложений до широкого распространения в обществе.

Пример: предсказательные модели, использующие ML, созданы уже давно, но высокорисковые сферы (медицина, финансы) по-прежнему используют старые регрессионные модели. Слишком сложные системы показывают худшие результаты, когда их запускают в реальной жизни, — невозможно полноценно валидировать сложные системы из-за их недостаточной интерпретируемости.

Авторы подчеркивают 2 барьера внедрения: необходимость изменения человеческих привычек и перестройки организаций. (После появления электричества потребовалось 40 лет, чтобы фабрики адаптировались под новую технологию.)

2. «Сверхинтеллект» — это ошибочная концепция, путающая интеллект и власть.

Авторы утверждают, что опасения насчёт сверхинтеллекта идут от путаницы: важен не интеллект сам по себе, а то, сколько власти и контроля мы ему передаем. Машины становятся сильнее людей в узком спектре задач, но для управления целыми системами лучшие результаты показывает связка «человек + ИИ». Люди могут использовать технологии как инструмент расширения своих возможностей, а не уступать им власть.

3. Катастрофические сценарии переоценены, а реальными и актуальными остаются «обычные» социальные риски.

Не стоит особо переживать, что ИИ вдруг выйдет из‑под контроля и захватит мир. Такие сценарии, по мнению авторов, — чистая спекуляция, которая не подтверждается реальной историей технологий и их внедрения.

Куда опаснее и реалистичней — постепенные накопления социального ущерба: рост неравенства, концентрация капитала в руках немногих, применение системы контроля, потери рабочих мест. Эти риски мы знаем и понимаем, у нас есть опыт их регулирования.

Что делать дальше — рекомендации авторов:

Ставить акцент на общественную и техническую устойчивость системы (resilience). Вложиться в минимизацию последствий наиболее возможных проблем, а не пытаться предвосхитить каждую гипотетическую угрозу.

Избегать ограничения распространения технологий. Попытки ограничить доступ к мощному ИИ могут привести не к безопасности, а к созданию критических точек отказа и бесконтрольной концентрации власти.

Улучшать прозрачность и уменьшать неопределенность. Надо больше вкладывать в исследование рисков и мониторинг реальных происшествий, чтобы лучше понимать, что происходит и что с этим делать.

Поддерживать конкуренцию и разнообразие решений, включая поддержку развития открытых моделей и open-source проектов — чтобы инструменты предназначались не только корпорациям.

В таком нормальном взгляде на ИИ будущее становится менее драматичным и пугающим, зато более понятным и управляемым.

/ Не запрещена в РФ

Нейрократия
582 подписчика
231 пост
Про технологическое будущее без шума. Автор — @vlad_arbatov. https://arbatov.dev

Из подборки #безопасность

Опубликовано

Анонимизация ИИ — фикция

анонимизация ИИ фикция: почему чат‑боты не защищают личные данные
Опубликовано

ИИ-агенты оказались импульсивными покупателями

ИИ-агенты импульсивные покупатели: проблемы выбора, скорость vs качество, уязвимость к манипуляциям
Опубликовано

Чем больше LLM, тем легче её взломать

Сколько отравленных примеров нужно для взлома больших LLM и как это влияет на безопасность?
Опубликовано

Как на самом деле создается личность ИИ

как создаётся личность ИИ и какие риски это несёт

Свежие посты

Опубликовано

Внутренности Клода

Подробный разбор архитектуры Claude Code: входные точки, поток данных, модули, инструменты и интеграция, основанный на анализе 1 884 файлов TypeScript.
Опубликовано

Как меняется устройство мысли

Умственное устройство меняется, когда внешнее ИИ‑рассуждение становится инфраструктурой, заменяя часть мышления и вызывая когнитивную капитуляцию.
Опубликовано

Google ускоряет LLM в 8 раз

TurboQuant — метод Google, ускоряющий LLM‑ы в 8 раз за счёт экстремального сжатия KV‑cache и векторного поиска без потери качества.
Опубликовано

Архив, эпизоды и граф: память агента изнутри

Память AI‑агента «Волна» состоит из постоянных блоков, архивной, эпизодического лога и графа связей, обеспечивая быстрый доступ к фактам и структурам.
Опубликовано

Я делаю personal-first ассистента. Вот зачем

Как работает personal-first AI ассистент Volna: память, тайминг, интеграции и health‑трекинг
Опубликовано

Нейросети будут платить налоги

как нейросети будут платить налоги и какие правила регулирования ИИ
Опубликовано

AI 2025: агенты, ролплей, китайская экспансия

Отчет OpenRouter о трендах AI 2025: рольплей, китайские модели, AI‑агенты, рост reasoning и изменение рынка