Не умеете танцевать? Этот ИИ украдёт для вас движения профессиональных танцоров
Всем дипфейк-танцев!
Американские исследователи представили нейросетевой алгоритм, который переносит движения людей из одного видео в другое. Система, описанная на arXiv.org, использует сразу несколько нейросетей, а весь процесс разбит на следующие этапы.
- Обучение алгоритма на целевом видео с произвольными движениями человека (запись длиной в несколько минут). На героя этого видео затем будут перенесены движения из исходника.
- Загрузка одного или нескольких исходников: например, видео с танцорами. В конечном счёте система перенесёт их движения на первое видео. Но сперва алгоритм OpenPose превратит исходные видео в упрощённую модель человеческого тела, состоящую из ключевых точек, соединённых линиями.
- Затем движения исходной модели передаются на целевую модель. В процессе они проходят так называемую нормализацию. У разных людей разные пропорции тела и разная одежда, — нормализация необходима, чтобы свести к минимуму нереалистичные изменения целевой модели.
- Наконец, алгоритм pix2pixHD превращает движения модели в фотореалистичный видеоролик, на котором человек повторяет движения из исходного ролика.
И вот что получается:
Разработчики списывают артефакты в итоговом видео на несовершенный алгоритм OpenPose, который создаёт промежуточную модель тела. Он работает с одним кадром за раз без учёта соседних, плюс создаёт двумерную модель, которая в принципе не учитывает нюансы трёхмерного пространства.
Алгоритм pix2pixHD, напротив, для каждого нового кадра анализирует и предыдущий кадр, и 2D-модель тела, за счёт чего движения на целевом видео становятся более естественными и согласованными. Кроме того, разработчики использовали ещё одну нейросеть, отвечающую за отрисовку лица.
Впрочем, над лицом тоже следует поработать:
Ранее мы писали о похожей технологии, создающей дипфейки. Это реалистичная имитация мимики, жестов и движений, благодаря которой можно вложить слова одного человека в уста другого. Или, к примеру, поместить звезду шоу-бизнеса в порнографическое видео. Пока популярные платформы сражаются с эпидемией поддельных видео, а порноиндустрия ищет способы монетизировать эту золотую жилу, эксперты прогнозируют, что дипфейки совсем скоро станут главным оружием информационной войны.
О диджитале в удобном формате ➜ подписывайтесь на нашу рассылку
IT-конференция МТС True Tech Day 17 мая
Что будет:
- 5 тематических треков: Main, Development, AI/ML, Cloud, Science;
- 50 спикеров с докладами про архитектуру, облачные платформы, NLP4Code, вероятностное программирование, безопасность контейнеров и другое;
- 10 часов нетворкинга;
- Цифровые зоны и digital-интеграции;
- А ещё вечеринка со звездой.
Реклама. ПАО «МТС». ИНН 7740000076. ОГРН 1027700149124
