3d zoom по фото (Ken Burns эффект)

Давненько не брал я в руки перо =)

Некоторое время назад я отошел от архвиза и моделинга и ударился в машинное обучение и иже с ним. Но часто натыкаюсь на вещи, которые могли бы неплохо смотреться и в архвизе. 

Недавно наткнулся на скрипт, делающий из статичных фото псевдотрехмерные с эффектом Кена Бернса (зум или скролл фото для создания видео из неподвижных изображений)

Да, порой выходит криво, но это по одной только фотографии, а если дать ему нормальную карту глубин? 

Просто посмотрите на результаты: 

https://giphy.com/gifs/SrtYQKzFR3nEr2bQPF 

https://giphy.com/gifs/lqSdwja2hvFwXIypOK 

https://giphy.com/gifs/f8mFW41HdwRRDVKKKn 

(пока не понял, как вставить видео с giphy и с радостью последую любым советам, а если вставить гифки сюда - укачивает)

Как обычно, все свои ковыряния я заворачиваю в телеграм ботов, потыкать можно здесь: https://t.me/photozoombot 

Первоисточник: https://github.com/sniklaus/3d-ken-burns 

sxela3dzoomken burnsdeep learning

Комментарии (5)

0
Ivanov_CG
Что за скрипт? На основе ИИ?
+1
sxela
Да, там три модели: построение карты глубин, повышение четкости карты глубин и дорисовка отсутствующих пикселей при движении.
0
Ivanov_CG
А на каких данных сетка обучалась чтобы карту глубины построить? Она её прям из загружаемой фотки генерирует? Вообще прикольно конечно это всё, сам сейчас в MLку погружаюсь.
0
Ivanov_CG
На телегу ссылка не работает
0
sxela
Потому что он зобанен в РФ =) Попробуйте в телеграме вставить ссылку в поиск - у меня находит.