Нейросеть в реальном времени рисует реалистичную картинку поверх кадра игры

Я может ошибся в переводе, если что поправьте, но в ролике ниже показан результат работы нейросети, которая накладывает поверх кадра игры фотореалистичные изображения и все это в реальном времени. Пока большинство обывателей думает о том, как в будущем увеличится плотность сетки на моделях в играх, каких размеров будут текстуры и т.д. эволюция процесса сверхреалистичной графики пошла параллельным иным путем. Ну если совсем грубо, то тут схожая идея с технологией DeepFake. Сейчас результаты смотрятся скромно, но это же только самые первые попытки. Что же с индустрией будет через 10 лет...

enhancing photorealism enhancement

Комментарии (48)

+8
simon310
"Что же с индустрией будет через 10 лет..." - Всё будет точно так же). Просто появятся очередные "улучшайзеры" и "ускоряйзеры" + железо будет мощнее, да рендереры покруче. А все базовые принципы как были 10 лет назад, как есть сейчас, так и останутся. И проблемы в продакшене останутся такими же, просто планка будет повыше. В конечном итоге всё упирается в художественное начало и человека как такового.
+7
egor98
А потом все будут двигаться не в направлении реализма,а в направлении скрытого подтекста и абстрактных форм...
+2
simon310
Вполне возможно.
+3
Zhendos92
я где то читал что разрабы специально не делают игры фотореалистичными, чтоб игрок знал грань между игрой и реальной жизнью и возможно не повторял тех же действий, из разряда "это все из за игр!"
+3
VictoriaCh2303
Почти уверенна, что это вы слышали не так про игры в целом, а конкретно про персонажку. Почитайте подробнее, если не слышали, что такое "эффект зловещей долины", как он отражается на персонажах в играх\фильмах. Грубо говоря, это если сделать слииишком реалистичного персонажа, у человека на подсознательном уровне начинается к нему неприязнь, отвращение, иногда даже паника от увиденного, потому как все равно наш мозг расспознает мельчайшие нестыковки "виртуального" и "реального" человека. Мы начинаем их воспринимать как что-то чужое и опасное, незнакомое нам. И повторюсь, это все начинается на подсознательном уровне, и вы можете этих чувств даже не понимать. Очень интересное явление)))
+1
Zhendos92
интересное мнение )
+1
mr.spoilt
Это не мнение, это факт.https://www.youtube.com/watch?v=YZFi775-eLw 
0
simon310
По сути описанное вами это разновидность гленофобии. Только спроецированная на цифровой мир.
+1
grishin
не очень понятно, при чем тут "зловещая долина" в теме про реализм. "зловещая долина" преодолима. пока не мощностями среднего пк, (и в большой степени - навыками художников), но в обозримом будущем, когда эффекты, доступные киноиндустрии, дойдут и до геймдева, то человеческие персонажи будут "живыми". ведь конкуренция на рынке все равно повлечет за собой то, что в погоне за удивлением зрителя производители будут улучшать картинку все повышая ее реализм. и графику, неотличимую от записанного с реальности видео, мы так или иначе увидим
0
VictoriaCh2303
так же и я не понимаю смысла вашего высказывания про уместность\неуместность этой темы. человек написал, что слышал, что разрабы игр специально не делают все слишком реалистично. на что я ему написала, что у этого есть своя причина - и ее основа лежит именно в персонажке т.к. связана с конкретным психологическим явлением, который пока-что, я считаю, не приодолел никто. даже самые современные нейросети с генерацией лиц выдают себя. а теперь поясните, в чем состоит ваша претензия лично к моим словам?
+2
grishin
Нет никаких претензий. Просто "зловещая долина" очень слабо беспокоит производителей игр сейчас. И игры пока не гонятся за абсолютной реалистичностью просто от того, что среднее пользовательское железо её не потянет. И обыгрывают свои ограничения стилизацией в сторону упрощения, но повторюсь, причина не в зловещей долине, реализм персонажей с каждым годом только прибавляется, что какбэ противоречит желанию избежать приближения к ЗД. Плюс, стилизация в играх используется из тех же расчетов, что и в произведениях искусств других областей (живопись, мультипликация), это работа на образ, на геймплей, на выразительность, на отличность от других в конце концов
+2
vk3d
Круто!) надо поставить)
+4
Digitalker
Теперь я начал понимать. Вот что уничтожит всех кожанных ублюдков...
+5
ViTcore
Все косяки графики ГТА5 на месте - кубмап отражения, алиасинг, низкие тени, листва об которую можно бриться. Шляпа, если честно, не понимаю восторга вокруг этих тестов, хотя этот канал смотрю постоянно, иногда мозговыносящие вещи показывают. Но тут не реализм выходит, а зеленое мыло, когда нужен
фильтр "Эффект видеорегистратора", может пригодиться.
+1
mr.spoilt
Я тоже его смотрю постоянно.
Я считаю, что в будущем с такой технологией можно выделит рабочий ресурс на полировку моделей и освещения, а текстурирование оставить нейросети. К тому же исходные данные как раз из регистратора )
0
2garyn
ну значит скоро регистраторы будут 8к выдавать значит) а то и все 32)))
+1
imFeodor
Публике как обычно нужно хлеба и зрелищ, всё и сразу.
+2
vladimir.drobzhev90
Нейросеть: нуда нуда, пошла я нафиг, всего-то распознала все объекты в кадре. Вы же понимаете, что это только начало) Это же круто, а в перспективе так вообще! За нейросетями будущее)
+2
Yehat
У диктора такой вкрадчивый голос))
0
mr.spoilt
Он румын или болгар, не помню уже.
+2
mxredme
индус)
+1
AlexeyLed
Дальше подобных демонстарций не пойдет.
+1
Dreammer
Интересно а если внедрить нейросеть в корону? Насколько б упростилась жизнь...:)))
+2
TOER
вирусу ?)
+1
Yehat
А вообще самая большая разница там в цветокоррекции. Текстуры, ну хз, шило на мыло.
+5
samaprishla
Однажды предоставила заказчице изображение объекта, нарисованного в фотореализме, а она говорит - ну что-то цвета бледные, потёртости какие-то, неровности. Я отвечаю, мол, как в реальности. А она мне - а нужно лучше, чем в реальности! :)))
+1
serpank
ну так правильно сказала, как с рекламой товара, который нужно продать, всегда приукрашивают
0
Rigart
И да и нет. Дело вкуса- кому-то потертостей побольше, кому-то глосси на всем
0
summitz
Фантастика
+1
ciliegiointerrior
Ну цвета стали как у стремного видеорегистратора. От текстуры дороги вообще ничего не осталось. В чем восторг? Я думал уж лет 15 назад умер стереотип, что фотореалистично = красиво. Да, стало ближе к фотографии, но стало и хуже.
+1
mr.spoilt
Восторг в том, что нейросеть без вмешательства человека способна в реальном времени брать накопленный опыт и рисовать фотографии поверх кадра, к тому же данные, на которых нейросеть училась были совершенно из других мест, то есть это фотографии невысокого качества, собранные в городах Германии и Австрии и это не помешало нейросети расписать стилизованный Лос-Анджелес. Это говорит о том, что нейросеть сможет Ваш выдуманный и замоделенный мир также расписать и для этого не нужно ехать на велосипеде по вымешленному миру и все там фотографироть.
А еще качество этого первого результата говорит о том, что не хватило ресурсов у исследователей, чтобы, во-первых, отфоткать города в мегасупер разрешении, а также потом на чем-то переработать весь объем данных. В общем, это технология и ее скромная демонстрация.
Нейросети, могут обучаться постоянно, поэтому рост качества неизбежен, тем более в распределенных сетях, которыми могут стать ВУ пользователей (игроков).
0
freezemaximus
Так себе там графика, что до, что после. Но то, что выглядит после, намного реалистичнее.
0
Disah
Пиарят везде свои искусственные интелекты, а нормальных ботов в шутерах (особенно с открытым миром) так и не научились делать. 8 лет пилили киберпанк, так и не смогли хоть немного интересных врагов сделать.
0
mr.spoilt
Вы совершенно не понимаете тему. Причем тут ИИ игры и нейронные сети?
Не вы там в ролике снимались, про интернет, который Вам там нафиг не нужОн!? )
0
Disah
Причем здесь ролик про интернет? У Вас какие то странные ассоциации между ИИ и интернетом. Интернет не имеет способности самоубучения, а нейросеть, искусственный интеллект, машинное обучение, это все имеет в своей основе принцип самообучения. Да мне не понятно, почему программа научилась создавать сложное изображение, а боты в играх за 15 лет ни чему новому не научились. Не смотря на убер крутую графику играть в Киберпанк не интересно из за тупых ботов и это не только мое мнение, так думает большинство.
0
mr.spoilt
Я повторю, у Вас крайне недостаточно знаний для оценки.
Научить нейросеть по простейшему алгоритму распознавать и разукрашивать несложно на данный момент, а вот создать ИИ, который бы адекватно реагировал на действия живого человека практически невозможно, а то, как ИИ в играх работает сейчас хорошо рассказано на канале XYZ, а как работают простейшие нейронные сети показано на канале foo52ru.
Расширьте знания, изучите вопрос, может тогда поймёте разницу, о которой я говорю.
0
Disah
И не пытался блестать ту ни какими знаниями, причем тут знания? Просто констатирую факт, без умных ботов толку от крутой графики в игре не будет. Киперпанк 2077 яркий тому пример, оценки низкие, самое слабое место ИИ врагов и жителей города. Какой смысл было надрываться 8 лет с разработкой, когда главная проблема не решена, игра провальная вышла.
0
mr.spoilt
Я не про то, что Вы глупый, я это не могу знать, я про то, что у Вас не хватает знаний увидеть все перспективы этой технологии. Вашу мысль я понял, но не совсем с ней согласен, свое мнение я не навязываю.
+1
Disah
Понятно какие перспективы: реалтайм графика идет к уровню съемки с видеокамеры. Эта ситуация похожа на изобретение фотографии и влияние технологий на творчество художников. В итоге все равно живой человек определяет что интересно а что провально. Нейросети или ИИ неспособны сами по себе генерировать интересный людям контент.
0
Disah
Комментарий удален
+1
AlexRicco
Круто!
Но пугает(
И это только графика! А сколько еще областей может быть охвачено самообучающимися системами! Человеку места может не остаться. Простому смертному точно.
0
Disah
А сможет ИИ постоянно удивлять и генерить интересный людям контент? Я именно на этом зарабатываю.
0
AlexRicco
Сможет. Лет десять говорили, что человеческое поведение и творчество невозможно алгоритмизировать. А сегодня мы в этом уже сомневаемся. Более того, ИИ будет "удивлять и генерить интересный людям контент" несоизмеримо лучше живого человека. Когда-то калькуляторы невозможно было представить, а сегодня при чуть сложных расчетах доверяем только им.
0
Disah
Ну тогда остается только вставить себе микрочип )))
0
AlexRicco
Так и будет годков через 50-100) Уже сегодня мы достаточно нашпигованы чужеродным: суставные протезы, кардиостимуляторы, сердечные клапаны, глазные хрусталики и т.д. Банальные очки для зрения из той же области)
0
Rigart
))...((( уйдем в лес
0
Disah
Комментарий удален
0
Fandora
Комментарий удален