Отчёт: мошенничество с ИИ

Отчёт: мошенничество с ИИ

Компания Anthropic выпустила любопытный отчёт о самых креативных вариантах недавнего злоупотребления своей платформой Claude. Из этих историй становится ясно: угрозы со стороны генеративных моделей стали намного серьёзнее, чем мы думали ранее.

Какие схемы злоумышленников обнаружили аналитики из Anthropic?

Доработка вирусов

Относительно неопытный пользователь смог получить от Claude инструкции, как значительно доработать открытый исходный код вредоносного ПО. В результате получилось нечто весьма продвинутое — со встроенной системой распознавания лиц и модулями для сканирования даркнета. Не имея инструмента вроде Claude, такой пользователь вряд ли мог бы создать вирус подобного уровня.

Сбор краденых паролей

В ещё одном кейсе злоумышленники использовали Claude для обработки уже слитых учётных данных — и получили доступ к видеокамерам наблюдения. Эксплойт хоть и классический, но удивительно, как легко теперь автоматизировать подобные схемы с помощью ИИ.

Манипуляции в соцсетях на новом уровне

Самый необычный описанный случай — создание «системы влияния», основанной на сотнях ботов в X и Facebook (запрещен в РФ). Claude генерировал контент, давал указания ботам по комментариям и лайкам и даже подбирал оптимальное время взаимодействия с десятками тысяч людей.

И самое занятное: когда этих ботов обвиняли в искусственности, система автоматически реагировала на подозрения с сарказмом и юмором, не позволяя «выбить себя из роли» различными трюками вроде просьб написать рецепты или рифмованные стихи. Это следующий уровень манипуляций: долгосрочные кампании по созданию иллюзии живого общения и вовлечения, гораздо сложнее отличимые от живого общения, чем первичные набеги вроде Cambridge Analytica.

Как утверждает Anthropic, такие кампании активны в ряде стран и, возможно, имеют государственные связи, хотя доказать этого пока невозможно.

Рекрутинговые мошенничества

Завершающий кейс — использование Claude для «отбеливания языка» текстов мошеннических вакансий в Восточной Европе (где же это интересно). Чатбот помогал технически неграмотным мошенникам звучать безупречно, профессионально и убедительно.

Что со всем этим делать?

Anthropic уже заблокировала выявленные аккаунты и внедрила новые механизмы защиты. Однако компания подчёркивает: такие схемы неизбежно будут развиваться на фоне общедоступности мощного генеративного ИИ.

Отчёт очень важен ещё и потому, что Anthropic — один из признанных лидеров по безопасности моделей и серьёзности собственных внутренних тестов. То, что даже при серьёзном подходе подобные вещи всплывают постфактум, говорит о многом.

/ Не запрещена в РФ