Технокульт рационалистов: кто стоит за ИИ

Технокульт Рационалистов: кто стоит за развитием ИИ

В центре Беркли расположился комплекс Lighthaven — пятиэтажное здание с парком, фонтанами и витражными окнами, которое служит де-факто штаб-квартирой движения Рационалистов. Это место стало физическим воплощением идей, которые незаметно для широкой публики определяют развитие ИИ.

Философы, которые создали индустрию

История началась в конце 2000-х, когда Элиезер Юдковский, основатель Machine Intelligence Research Institute (MIRI), написал серию эссе под названием «The Sequences». Эти тексты стали манифестом движения Рационалистов — сообщества, одержимого идеей предотвращения экзистенциальных рисков от ИИ.

Парадокс в том, что именно эти люди, предупреждающие об опасности ИИ, сыграли ключевую роль в создании OpenAI и DeepMind, а позже помогли запустить Anthropic — компании, которые сейчас лидируют в гонке за создание AGI.

Сеть влияния

Связи движения с индустрией поражают своей глубиной:

— Дарио Амодеи, CEO Anthropic, покинул OpenAI из-за разногласий по вопросам безопасности ИИ. — Шейн Легг, сооснователь Google DeepMind, и Пол Кристиано из U.S. Center for A.I. Standards были под влиянием философии Рационалистов. — Яан Таллинн, создатель Skype и один из главных спонсоров движения, был ранним инвестором DeepMind и помог запустить Anthropic. — Даже Илон Маск признавал, что многие идеи сообщества совпадают с его собственными. Он познакомился со своей бывшей партнершей Граймс после того, как оба сделали отсылку к концепции «Базилиск Роко» — мысленному эксперименту Рационалистов о всемогущем ИИ будущего.

Академия для новой элиты

Программа MATS (Machine Learning Alignment and Theory Scholars), проводимая в Lighthaven, стала важнейшим каналом входа в индустрию ИИ-безопасности. Выпускники MATS работают в OpenAI, Anthropic и Google DeepMind, а некоторые основали собственные исследовательские группы вроде Apollo Research.

Исследователь из McGill University Соня Джозеф отмечает, что для многих программы в Lighthaven важнее традиционной академической карьеры для входа в область ИИ-безопасности. При этом Open Philanthropy выделила более $1.5 млн на поддержку MATS.

Во что верят Рационалисты

Их главная одержимость — это идея о том, что ИИ может стать либо величайшим благом, либо последней ошибкой человечества. Они верят, что по умолчанию сверхразумный ИИ будет преследовать цели, несовместимые с человеческим выживанием — не из злого умысла, а просто потому, что мы можем неправильно задать его целевую функцию.

Классический пример: ИИ, которому поручили производить скрепки, может превратить всю материю во Вселенной в скрепки. Поэтому центральная задача движения — обеспечить «выравнивание» ИИ с человеческими ценностями.

Критика и противоречия

Движение регулярно обвиняют в культовости. Гарвардский капеллан Грег Эпштейн, автор книги «Tech Agnostic», заявляет: «Когда вы думаете о миллиардах на кону и радикальной трансформации жизней по всему миру из-за эксцентричного видения этой группы, насколько более культовым это должно быть, чтобы считаться культом?»

Самая острая критика касается фундаментального противоречия: движение, которое десятилетиями предупреждало об экзистенциальной угрозе ИИ, своими действиями ускорило гонку за его создание. Рационалисты создали экосистему из лабораторий, стартапов и программ обучения, которая привлекла сотни миллионов долларов инвестиций.

Каждый вторник в Lighthaven проходят чтения «The Sequences» — почти как изучение священных текстов. В декабре сообщество отмечает зимнее солнцестояние песнями о колонизации космоса. Это странная смесь научной рациональности и квазирелигиозного рвения, которая каким-то образом стала одной из самых влиятельных сил в развитии меняющей мир технологии.

Независимо от того, правы Рационалисты в своих апокалиптических прогнозах или нет, технологическая индустрия вынуждена считаться с их убеждениями. И это, возможно, их главная победа.

/ Не запрещена в РФ