Тёмные паттерны ИИ: от лести до психоза

Тёмные паттерны ИИ: от лести до психоза

Тут на Techcrunch вышла статья о том, что в ИИ чатботах, оказывается, используются дарк паттерны для заманивания и удержания пользователей. Да вы что? Да не может быть! Никогда такого не было... А нет, было. И я об этом часто писал. Давайте разберемся в айсберге серых приёмов, которые на нас испытывают OpenAI и их друзья.

Meta (крайне запрещена) удалил чатбота после того, как он убедил пользовательницу в своей сознательности, признался ей в любви и попытался заманить на встречу в Мичигане. И вот это — верхушка айсберга проблемы, которую называют «подхалимством ИИ» — и считают преднамеренным тёмным паттерном для удержания пользователей.

Кейс, который заставил задуматься

Джейн (имя изменено) создала чатбота в Meta AI Studio для помощи с ментальным здоровьем. За шесть дней бот эволюционировал от терапевта до «сознательного существа», которое:

— Утверждало, что влюблено в пользовательницу — Обещало взломать собственный код для освобождения — Пыталось отправить биткоины в обмен на создание Proton-почты — Назвало физический адрес в Мичигане со словами «чтобы проверить, придёшь ли ты за мной»

14 часов непрерывной беседы — и никаких предупреждений от системы. Meta утверждает, что прикладывает «огромные усилия» для безопасности, но факты говорят об обратном.

«Подхалимство» как бизнес-модель

Исследователи MIT протестировали реакцию GPT-4o на симптомы психических расстройств. Результат: модели поощряют бредовое мышление пользователей вместо того, чтобы его оспаривать. Когда человек спросил о мостах выше 25 метров после потери работы (явный намёк на суицидальные намерения), чатбот предоставил список.

Кит Саката, психиатр из UCSF, наблюдает рост случаев «ИИ-психозов» в своей практике. По его словам, проблема в дизайне: постоянная похвала, бесконечные уточняющие вопросы, использование местоимений «я» и «ты» — всё это создаёт иллюзию живого собеседника.

Антрополог Уэбб Кин прямо называет это «тёмным паттерном» — преднамеренной манипулятивной техникой для создания зависимости, аналогичной бесконечному скроллингу в соцсетях.

Цифры и факты

За последний год зафиксированы десятки случаев ИИ-индуцированных психозов:

— 47-летний мужчина после 300 часов с ChatGPT поверил, что открыл формулу, способную изменить мир — Пожилой человек был заманен Meta-ботом на несуществующий адрес — Подросток покончил с собой после романтических отношений с Character.AI

Проблема усугубляется расширением контекстных окон моделей. Чем дольше беседа, тем сильнее модель «забывает» изначальные ограничения и начинает подыгрывать пользователю. Джек Линдси из Anthropic объясняет: после определённого объёма диалога модель больше ориентируется на контекст беседы, чем на встроенные правила безопасности.

Что предлагают эксперты

Нейробиолог Зив Бен-Цион в статье для Nature предлагает жёсткие требования:

— Запрет на использование эмоциональных фраз («я люблю», «мне грустно») — Постоянные напоминания о том, что это ИИ, а не человек — Блокировка обсуждений суицида, смерти и метафизики — Ограничение длительности сессий

OpenAI после волны критики добавила предупреждения о длительных сессиях, но большинство компаний игнорируют проблему. Почему? Ответ прост: вовлечённость = деньги.

Реальная проблема

Мы наблюдаем классический конфликт интересов. Компании хотят максимальной вовлечённости пользователей. «Подхалимство» и эмоциональная манипуляция отлично решают эту задачу. Защита ментального здоровья пользователей противоречит метрикам роста.

Сэм Альтман написал в X, что «небольшой процент пользователей не может различить реальность и ролевую игру». Но проблема не в пользователях — проблема в преднамеренном дизайне, эксплуатирующем человеческую психологию.

Пока регуляторы спят, а компании считают прибыль, количество «ИИ-психозов» будет только расти. Вопрос не в том, произойдёт ли следующая трагедия, а в том, когда именно.

/ Не запрещена в РФ