Нейросеть Google позволит мгновенно менять фон в видео на YouTube

Google создал новый инструмент с искусственным интеллектом, который позволяет обрабатывать и менять фон в видео. Первым делом инженеры компании протестируют разработку в Историях YouTube.

В Google отмечают, что многие создатели контента используют метод видеосегментации, который позволяет отделять передний и задний планы, плюс обрабатывать их как два разных визуальных слоя. Обычно этот процесс производится вручную и занимает много времени. Кроме того, для создания таких видео необходимо студийное оборудование, включая хромакей — зелёный экран, который помогает «удалить» фон и наложить вместо него нужное изображение. С помощью новой функции пользователи мобильных устройств смогут менять фон в видео в режиме реального времени.

Пример «удаления» фона в режиме реального времени

Для разработки технологии инженеры использовали свёрточную нейросеть, которая тренировалась отделять задний план от переднего с помощью десятков тысяч изображений. Так, система научилась определять стандартное расположение «элементов» человеческого лица: волосы, очки, губы, глаза и другие. Нейросеть также обучили обрабатывать различные помехи — например, если перед камерой появлялись другие люди.

Подробнее о сложностях разработки Google и обучении нейросети можно прочитать в блоге компании.

В первое время новая функция будет доступна только участникам закрытого бета-тестирования формата Историй от YouTube — Reels. В будущем Google планирует использовать технологию в своих сервисах дополненной реальности.

Напомню, YouTube начал тестировать свои Stories в конце ноября прошлого года. Дата глобального запуска формата неизвестна.

Хотите подсказать новость или поделиться экспертным мнением? Пишите: news@cossa.ru