Технологию "замены лиц" face2face протестовали на известных политиках – в режиме реального времени система меняла мимику лиц политиков, среди которых были Джордж Буш, Владимир Путин, Дональд Трамп и Барак Обама, передает FDLX.
Работу системы "замены лиц" продемонстрировала группа исследователей из Университета Эрлангена – Нюрнберга, Института информатики Общества Макса Планка и Стэнфордского университета.
С помощью датчика глубины изображения система в режиме реального времени строит маску для каждого из двух участников трансляции. К маске привязаны условные мимические точки на поверхности лица. Считывая деформацию маски источника, система в режиме реального времени создает фотореалистичную анимированную версию лица принимающей стороны поверх реального изображения.
Аппаратная конфигурация системы, использованная в оригинальном исследовании, доступна для приобретения широкого круга лиц. В частности, в системе, которую демонстрировали на видео, использовалась камера Asus Xtion PRO и компьютер с процессором Intel Core i7 и видеокартой Nvidia GTX980. Вычислительных мощностей подобной рабочей станции хватает для работы на лету с видеопотоком разрешением 1280×1024 пикселей.
Благодаря технологии отслеживания движения система может передавать эмоции даже при разном положении головы источника и принимающей стороны, а искажения становится видно, только когда в кадре появляется объект, который перекрывает лицо или голова отклоняется от камеры на слишком большой угол. Также система учитывает освещение и цвет, поэтому может использоваться в качестве виртуального зеркала.
Подобные разработки могут пригодиться при создании компьютерных игр, при дубляже фильмов на разные языки или при организации прямых трансляций на разных языках.
Главные темы