Подписаться
Опубликовано

«Нормальный ИИ»: почему не нужно ждать сверхразум

Автор
  • Имя
    Нейрократия
    Telegram

«Нормальный ИИ»: почему не нужно ждать сверхразум

Обычно дискуссия о будущем ИИ подсвечивает две темы: либо перед нами таинственное сверхсущество, ждущее момента для захвата человечества, либо — революционная сила, меняющая мир в мгновение ока.

Новая работа профессоров Арвинда Нараянана и Саяша Капура «AI as Normal Technology» (советую почитать) предлагает куда менее сенсационный, зато более реалистичный сценарий — ИИ как «нормальная технология». Это значит, что искусственный интеллект — важнейший прорыв, но всё ещё такой же, как когда-то электричество, интернет или компьютер: значимый, но развивающийся и адаптируемый постепенно.

Главная идея авторовсверхразумный ИИ, опасный и неподконтрольный человеку, едва ли возможен по чисто техническим причинам. Вместо этого перед нами вполне политически и социально понятная картина постепенного внедрения технологии, которая меняет мир не рывками, а волнами, с задержками, ошибками и неизбежными откатами, как и любая другая массовая инновация.

3 ключевых тезиса авторов:

1. Внедрение ИИ — долгий процесс с естественными скоростными ограничениями.

Создание новых методов (например, LLM-моделей) происходит быстро, но от новых технологий до реальных массовых приложений очень долгая дорога. И еще более длинный путь — от приложений до широкого распространения в обществе.

Пример: предсказательные модели, использующие ML, созданы уже давно, но высокорисковые сферы (медицина, финансы) по-прежнему используют старые регрессионные модели. Слишком сложные системы показывают худшие результаты, когда их запускают в реальной жизни, — невозможно полноценно валидировать сложные системы из-за их недостаточной интерпретируемости.

Авторы подчеркивают 2 барьера внедрения: необходимость изменения человеческих привычек и перестройки организаций. (После появления электричества потребовалось 40 лет, чтобы фабрики адаптировались под новую технологию.)

2. «Сверхинтеллект» — это ошибочная концепция, путающая интеллект и власть.

Авторы утверждают, что опасения насчёт сверхинтеллекта идут от путаницы: важен не интеллект сам по себе, а то, сколько власти и контроля мы ему передаем. Машины становятся сильнее людей в узком спектре задач, но для управления целыми системами лучшие результаты показывает связка «человек + ИИ». Люди могут использовать технологии как инструмент расширения своих возможностей, а не уступать им власть.

3. Катастрофические сценарии переоценены, а реальными и актуальными остаются «обычные» социальные риски.

Не стоит особо переживать, что ИИ вдруг выйдет из‑под контроля и захватит мир. Такие сценарии, по мнению авторов, — чистая спекуляция, которая не подтверждается реальной историей технологий и их внедрения.

Куда опаснее и реалистичней — постепенные накопления социального ущерба: рост неравенства, концентрация капитала в руках немногих, применение системы контроля, потери рабочих мест. Эти риски мы знаем и понимаем, у нас есть опыт их регулирования.

Что делать дальше — рекомендации авторов:

Ставить акцент на общественную и техническую устойчивость системы (resilience). Вложиться в минимизацию последствий наиболее возможных проблем, а не пытаться предвосхитить каждую гипотетическую угрозу.

Избегать ограничения распространения технологий. Попытки ограничить доступ к мощному ИИ могут привести не к безопасности, а к созданию критических точек отказа и бесконтрольной концентрации власти.

Улучшать прозрачность и уменьшать неопределенность. Надо больше вкладывать в исследование рисков и мониторинг реальных происшествий, чтобы лучше понимать, что происходит и что с этим делать.

Поддерживать конкуренцию и разнообразие решений, включая поддержку развития открытых моделей и open-source проектов — чтобы инструменты предназначались не только корпорациям.

В таком нормальном взгляде на ИИ будущее становится менее драматичным и пугающим, зато более понятным и управляемым.

/ Не запрещена в РФ

Нейрократия
582 подписчика
235 постов
Про технологическое будущее без шума. Автор — @vlad_arbatov. https://arbatov.dev

Из подборки #безопасность

Опубликовано

Анонимизация ИИ — фикция

анонимизация ИИ фикция: почему чат‑боты не защищают личные данные
Опубликовано

ИИ-агенты оказались импульсивными покупателями

ИИ-агенты импульсивные покупатели: проблемы выбора, скорость vs качество, уязвимость к манипуляциям
Опубликовано

Чем больше LLM, тем легче её взломать

Сколько отравленных примеров нужно для взлома больших LLM и как это влияет на безопасность?
Опубликовано

Как на самом деле создается личность ИИ

как создаётся личность ИИ и какие риски это несёт

Свежие посты

Опубликовано

OpenAI захватили гоблины

OpenAI захватили гоблиныЯ не шучу, абсолютно серьезно. Ладно, не OpenAI, а модели ChatGPT.Вчера OpenAI опубликовала странный разбор: почему...
Опубликовано

Зачем ИИ учат симулировать мир

Зачем ИИ учат симулировать мирOdyssey представила Odyssey-2 Max, свою крупнейшую модель мира. Формально это родственник видеогенераторов, но...
Опубликовано

Общество будущего от OpenAI: что с ним не так

OpenAI предлагает политику ИИ, но сохраняет выгоду компаний, усиливает концентрацию и создаёт барьеры, не решая риски безопасности.
Опубликовано

Внутренности Клода

Подробный разбор архитектуры Claude Code: входные точки, поток данных, модули, инструменты и интеграция, основанный на анализе 1 884 файлов TypeScript.
Опубликовано

Как меняется устройство мысли

Умственное устройство меняется, когда внешнее ИИ‑рассуждение становится инфраструктурой, заменяя часть мышления и вызывая когнитивную капитуляцию.
Опубликовано

Google ускоряет LLM в 8 раз

TurboQuant — метод Google, ускоряющий LLM‑ы в 8 раз за счёт экстремального сжатия KV‑cache и векторного поиска без потери качества.
Опубликовано

Архив, эпизоды и граф: память агента изнутри

Память AI‑агента «Волна» состоит из постоянных блоков, архивной, эпизодического лога и графа связей, обеспечивая быстрый доступ к фактам и структурам.