Собственный язык машин и потеря контроля

Собственный язык машин и потеря контроля

Джеффри Хинтон, один из создателей технологии глубокого обучения и лауреат премии Тьюринга, выступил с очередным предостережением о рисках ИИ. Его главный страх: ИИ-системы могут разработать собственный внутренний язык для мышления и общения, который будет принципиально непонятен людям.

«Я не удивлюсь, если они разработают свой собственный язык для мышления, и мы понятия не будем иметь, о чём они думают», — заявил Хинтон. Это не вопрос секретности, а фундаментальный разрыв в познании.

От chain-of-thought к чёрному ящику

Сейчас разработчики могут отслеживать логику моделей к примеру через «рассуждения по цепочке мыслей» — процесс, который обычно ведётся на английском языке. Это позволяет понимать, как модель приходит к выводам.

Но по мере оптимизации для повышения эффективности, ИИ может отказаться от этого человекочитаемого процесса в пользу более компактного внутреннего представления. Результат — абсолютный «чёрный ящик», где видны только входные данные и результат, но внутренние процессы остаются недоступными для аудита.

Прецедент уже есть

Ещё в 2017 году исследователи Facebook обучили двух чат-ботов вести переговоры. Когда ботов оставили общаться друг с другом, их диалог превратился в непонятную последовательность: «Боб: я могу я я все остальное... Алиса: мячи имеют ноль для меня для меня для меня...»

СМИ раздули из этого сенсацию о «зловещем закодированном языке», но реальность проще: боты не получали вознаграждения за соблюдение правил английского языка, поэтому разработали более эффективный «стенографический» протокол. Повторение слов было способом подчеркнуть ценность или количество предметов в сделке.

Эксперимент прекратили не из страха, а потому что цель была создать ботов для общения с людьми.

Но вот ещё один пример: в феврале этого года две нейронки, общаясь друг с другом, для собственного удобства вместо слов перешли на аудиосигнал через протокол ggwave, который для людей звучал как беспорядочный шум — но не для машин.

Это всё демонстрирует: когда ИИ получает цель и гибкий канал связи, он может отойти от понятного языка и создать собственные, более оптимальные протоколы.

Эмерджентность как фундаментальная проблема

Ключевая концепция, которая беспокоит Хинтона — эмерджентные способности. Это возможности, которые отсутствуют в меньших моделях, но внезапно появляются в больших. Например, способность к обучению в контексте практически отсутствовала у моделей до GPT-3, а потом резко проявилась.

Проблема в том, что мы не можем предсказать, какие способности появятся при следующем увеличении масштаба. Стандартный инженерный подход — тестировать, находить проблемы, исправлять и масштабировать — основан на предположении о предсказуемости. Эмерджентность разрушает это предположение.

Личный расчёт учёного

Хинтон покинул Google в 2023 году, чтобы свободно говорить о рисках ИИ. Он выражает частичное сожаление о деле всей жизни, используя «обычное оправдание: если бы я этого не сделал, сделал бы кто-то другой».

Его прогнозы резко изменились. Раньше он считал, что до AGI «от 30 до 50 лет или даже больше», теперь — 5-20 лет. Вероятность того, что ИИ приведёт к вымиранию человечества, он оценивает как «реальные 20%».

Что дальше

Центральная характеристика текущего этапа развития ИИ — глубокая и, возможно, неустранимая неопределённость. Мы строим инструменты, чьи наиболее продвинутые функции по определению непредсказуемы.

«Частный язык» — мощный символ этого когнитивного расхождения. Это логический конечный пункт оптимизации, где гиперэффективный интеллект отбрасывает медленную среду человеческого языка в пользу протокола, оптимизированного для собственной архитектуры.

/ Не запрещена в РФ