Видео со смартфона позволяют создавать реалистичные 3D-реконструкции лица

Как правило, для создания точной трехмерной реконструкции чьего-то лица, которая реалистична и не выглядит жуткой, требуется дорогостоящее оборудование и опыт. Теперь исследователи из Университета Карнеги-Меллона совершили подвиг, используя видео, записанное на обычном смартфоне сообщает сайт mzhost.ru.

Использование смартфона для съемки непрерывного видео на передней и боковых частях лица создает плотное облако данных. Двухступенчатый процесс, разработанный Институтом робототехники КМУ, использует эти данные с помощью алгоритмов глубокого обучения для создания цифровой реконструкции лица. Эксперименты команды показывают, что их метод может достигать точности до миллиметра, опережая другие процессы на основе камеры.

Цифровое лицо может быть использовано для создания аватара для игр, виртуальной или дополненной реальности, а также для анимации, биометрической идентификации и даже медицинских процедур. Точная трехмерная визуализация лица также может быть полезна при создании индивидуальных хирургических масок или респираторов.

«Построение трехмерной реконструкции лица было открытой проблемой в компьютерном зрении и графике, потому что люди очень чувствительны к внешнему виду черт лица», - говорит Саймон Люси, профессор-исследователь в Институте робототехники. «Даже небольшие аномалии в реконструкциях могут сделать конечный результат нереальным».

Лазерные сканеры, структурированный свет и многокамерные студийные установки могут производить высокоточное сканирование лица, но эти специализированные датчики непомерно дороги для большинства применений. Однако недавно разработанный CMU метод требует только смартфон.

Метод, который Люси разработал вместе со студентами магистратуры Шубхамом Агравалом и Ануджем Пахуджа, был представлен в начале марта на зимней конференции IEEE по применению компьютерного зрения (WACV) в Сноумасс, штат Колорадо. Начинается съемка 15-20 секунд видео. В этом случае исследователи использовали iPhone X в режиме замедленной съемки.

«Высокая частота кадров замедленного движения является одной из ключевых вещей для нашего метода, потому что он генерирует плотное облако точек», - сказала Люси.

Затем исследователи используют общепринятую технику, называемую визуальной одновременной локализацией и картированием (SLAM). Visual SLAM триангулирует точки на поверхности, чтобы вычислить ее форму, и в то же время использует эту информацию для определения положения камеры. Это создает начальную геометрию грани, но отсутствующие данные оставляют пробелы в модели.

На втором этапе этого процесса исследователи работают, чтобы заполнить эти пробелы, в первую очередь с помощью алгоритмов глубокого обучения. Однако глубокое обучение используется ограниченным образом: оно идентифицирует профиль человека и такие ориентиры, как уши, глаза и нос. Классические методы компьютерного зрения затем используются для заполнения пробелов.

«Глубокое обучение - это мощный инструмент, который мы используем каждый день», - сказала Люси. «Но глубокое обучение имеет тенденцию запоминать решения», что противодействует усилиям, включающим различение деталей лица «Если вы используете эти алгоритмы только для того, чтобы найти ориентиры, вы можете использовать классические методы, чтобы заполнить пропуски намного легче».

Метод не обязательно быстрый; заняло 30-40 минут времени обработки. Но весь процесс можно выполнить на смартфоне.

В дополнение к реконструкции лица, методы команды CMU могли бы также использоваться, чтобы захватить геометрию почти любого объекта, сказал Люси. Цифровая реконструкция этих объектов затем может быть включена в анимацию или, возможно, передана через Интернет на сайты, где объекты могут дублироваться с помощью 3D-принтеров.