Чистое искусство: нейросеть превратила людей на видео в цифровых марионеток
Их мимикой и движениями можно управлять.
Разработчик Джефф Зито (Jeff Zito) создал нейросеть, которая позволяет управлять чужими лицами на видео. Новую технологию использовал «музыкант-затворник» Lord Over — Зито сгенерировал для него клипы в стиле глитч-арт. В результате получились жутковатые видео, но, по словам самого Зито, «это чистое искусство».
Нейросеть использует человеческие образы из скормленных ей видео и создаёт из них собственные модели. Новые лица наслаиваются на исходники — так у пользователя появляется возможность управлять эмоциями и мимикой чужого лица. Зито отталкивался от технологии Face2Face, которая накладывает движения лица одного человека на видео c изображением другого.
Face2Face в свою очередь основан на разработках pix2pix, о которых мы писали в прошлом году. Сейчас сайт, который превращал корявые скетчи в «реалистичные» изображения людей и котов, к сожалению, закрыт из-за высокой стоимости серверов.
Ранее похожий алгоритм использовали исследователи из Вашингтонского университета. Нейросеть позволяла создавать реалистичное видео с говорящим человеком на основе записи любого голоса.
Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru
IT-конференция МТС True Tech Day 17 мая
Что будет:
- 5 тематических треков: Main, Development, AI/ML, Cloud, Science;
- 50 спикеров с докладами про архитектуру, облачные платформы, NLP4Code, вероятностное программирование, безопасность контейнеров и другое;
- 10 часов нетворкинга;
- Цифровые зоны и digital-интеграции;
- А ещё вечеринка со звездой.
Реклама. ПАО «МТС». ИНН 7740000076. ОГРН 1027700149124
