CharacterAI анонсировал AvatarFX: генерация видео

Наш «любимый» CharacterAI, который засудили за смерть подростка, подбросил дровишек — анонсировал новую модель для генерации видео AvatarFX, чтобы анимировать ваших ИИ-компаньонов (и сделать зависимость от них сильнее).

(Трейлер и примеру генерации от самой компании приложены ↑)

Скоро вместо текстовых сообщений и статичных картинок ваши виртуальные собеседники оживут, заговорят, кивнут и улыбнутся. И, обещают разработчики, сделают это предельно реалистично: с плавной анимацией, убедительной артикуляцией и выразительностью движений на уровне живых людей.

Сейчас доступ к модели в закрытой альфе, запросить доступ можно тут.

Я покопался в деталях — и похоже, команда CharacterAI неплохо постаралась. Под капотом AvatarFX — так называемые flow-based diffusion модели, построенные поверх DiT-архитектуры. Техники инференса оптимизированы настолько, что сохраняют высокое качество картинки и движений даже на длинных видео.

Судя по пресс-релизу и примерам, платформа способна выдавать любые стили и форматы: от реалистичных людей и трехмерных мультяшек до ваших любимых питомцев и даже мифических существ.

Фишка ещё и в гибкости: AvatarFX умеет генерировать видео не только из текстовых описаний, но и из любой картинки-заготовки пользователя. И вот тут вся магия и начинается (сейчас будет немного сложнее и мрачнее).

Возможность создавать видео из фотографий реальных людей делает модель идеальным инструментом для дипфейков, и это совсем не весело. Репутационные и личные риски огромны — при наличии подходящих навыков и целей эта технология мгновенно становится деструктивной.

CharacterAI не первые, кто сталкивается с этим вопросом — OpenAI с продуктом Sora также в своё время вызвала так себе общественную реакцию. А вот китайская Dreamina, например, не вызвала, хоть и делает практически то же самое, что AvatarFX.

Впрочем, над оптимизацией оживления картинок много кто работает — ребята из Стэнфорда вчера релизнули open-source модель, которая может сгенерировать видео 30fps длиной в минуту на ноутбуке с 6GB видеопамяти. Подробности и примеры тут.

/ Не запрещена в РФ