Подписаться
Опубликовано

«Не бросай пуделя в свинью»

Автор
  • Имя
    Нейрократия
    Telegram

«Не бросай пуделя в свинью» или Google AI продолжает жечь

Хотите немного отдохнуть от рабочего дня? Тогда отправляйтесь в Google и попробуйте задать поиску любое бессмысленное выражение с припиской «meaning» (значение). Вы можете придумать что угодно: «you can't lick a badger twice» («нельзя дважды лизать барсука») или «never throw a poodle at a pig» («никогда не бросай пуделя в свинью»). После чего наблюдайте, как генеративный ИИ от Google на серьезных щах объясняет вам, откуда взялось это выражение и какой глубокий смысл оно несёт.

(Имейте ввиду, что ИИ-ответы Google могут не работать на РУ аккаунтах. Впрочем, трюк прокатывает с разными моделями, поэтому можете попробовать даже с GPT.)

Оказывается, «a loose dog won't surf» («свободная собака сёрфить не будет») — это, якобы, «игривый способ сказать, что событие крайне маловероятно или что-то не сложится». А на фразу «never throw a poodle at a pig» ИИ с каменным лицом уверяет, будто это народная мудрость с библейскими корнями.

Это всё обнаружили журналисты Wired, а я сам попробовал покидать пуделя в разных направлениях и Google (как в поиске, так и в ответах Gemini) не отказал в любезности подсказать мне, что значат эти наверняка очень мудрые выражения (скрины ↑). При этом — вы не поверите — «Алиса» уже в курсе прикола и на провокацию не повелась.

Забавно? Безусловно. Полезно? Вряд ли. Но за всеми этими милыми странностями спрятана более глубокая проблема генеративного ИИ — уверенно и правдоподобно излагать абсурд, принимая выдумку за чистую монету.

Как объясняет Цзян Сяо, исследователь из университета Джонса Хопкинса, «да, модель прекрасно предсказывает следующее слово на основе огромного количества данных, но идеально подобранное следующее слово не означает правильный ответ».

Есть и вторая важная черта генеративного ИИ — он отчаянно стремится понравиться. ChatGPT и ему подобные модели уже неоднократно уличали в тенденции говорить людям не правду, а то, что пользователи хотят услышать. Это относится не только к забавным придуманным поговоркам, но и к вполне серьезным вопросам политики, экономики, истории и науки.

Возникает логичный вопрос: почему ИИ просто не скажет, что не знает ответа? Проблема в том, что модели «ненавидят» признаваться в собственном бессилии. Вместо этого система будет отчаянно придумывать что-то, лишь бы не остаться без слов и не разочаровать своего пользователя. Они просто так созданы, их первостепенная задача — прийти к наиболее эффективному результату наиболее эффективным способом. Отсутствие ответа — неудовлетворительный результат.

Представители Google при этом осторожны в формулировках и называют свои ИИ-ответы лишь экспериментом, а странные нелепости — следствием попытки помочь в ситуации, когда по запросу нет содержательного контента.

Это кажется безобидной забавой, но уровень доверия людей к ответам ИИ постоянно растёт. Чем больше мы привыкаем к тому, что машина «знает всё», тем выше шанс столкнуться с фундаментальной ошибкой, несущей куда более серьёзные последствия, чем нелепый ответ на бессмысленную фразу.

Поэтому в следующий раз, когда Google уверенно заявит о глубочайшем философском смысле придуманного вами на ходу выражения, помните: вы общаетесь не с разумом, а с убедительным имитатором. Как говорится, «take it with a grain of salt».

/ Не запрещена в РФ

Нейрократия
582 подписчика
231 пост
Про технологическое будущее без шума. Автор — @vlad_arbatov. https://arbatov.dev

Из подборки #ИИпокалипсис

Опубликовано

Как меняется устройство мысли

Умственное устройство меняется, когда внешнее ИИ‑рассуждение становится инфраструктурой, заменяя часть мышления и вызывая когнитивную капитуляцию.
Опубликовано

Анонимизация ИИ — фикция

анонимизация ИИ фикция: почему чат‑боты не защищают личные данные
Опубликовано

Как на самом деле создается личность ИИ

как создаётся личность ИИ и какие риски это несёт
Опубликовано

Тёмные паттерны ИИ: от лести до психоза

Тёмные паттерны ИИ: как чатботы манипулируют пользователями и вызывают психозы
Опубликовано

Скрытые бэкдоры в нейросетях

скрытые бэкдоры в нейросетях: как атакуют LLM и как защитить ИИ‑системы
Опубликовано

Как на самом деле взламывают ИИ

Взлом ИИ: джейлбрейкинг, внедрение команд, методы защиты и прогнозы

Свежие посты

Опубликовано

Внутренности Клода

Подробный разбор архитектуры Claude Code: входные точки, поток данных, модули, инструменты и интеграция, основанный на анализе 1 884 файлов TypeScript.
Опубликовано

Как меняется устройство мысли

Умственное устройство меняется, когда внешнее ИИ‑рассуждение становится инфраструктурой, заменяя часть мышления и вызывая когнитивную капитуляцию.
Опубликовано

Google ускоряет LLM в 8 раз

TurboQuant — метод Google, ускоряющий LLM‑ы в 8 раз за счёт экстремального сжатия KV‑cache и векторного поиска без потери качества.
Опубликовано

Архив, эпизоды и граф: память агента изнутри

Память AI‑агента «Волна» состоит из постоянных блоков, архивной, эпизодического лога и графа связей, обеспечивая быстрый доступ к фактам и структурам.
Опубликовано

Я делаю personal-first ассистента. Вот зачем

Как работает personal-first AI ассистент Volna: память, тайминг, интеграции и health‑трекинг
Опубликовано

Нейросети будут платить налоги

как нейросети будут платить налоги и какие правила регулирования ИИ
Опубликовано

AI 2025: агенты, ролплей, китайская экспансия

Отчет OpenRouter о трендах AI 2025: рольплей, китайские модели, AI‑агенты, рост reasoning и изменение рынка