Улучшение готовой 3д визуализации с помощью ИИ

Продолжаем разговоры об ИИ!

Заметили, что когда речь идет о генеративном ИИ в архвизе, многие представляют эпичные изображения, не имеющие ничего общего с реальностью.
Но существуют инструменты позволяющие не генерировать с нуля архитектуру, а улучшать то, что имеем.



Для этого в нейросети StableDiffusion есть дополнение ControlNet 

На наш взгляд, это отличный инструмент, на случай, когда нет времени, желания или бюджета на создание супердетальной и реалистичной картинки

Начнем!

Берем невзрачный проект самого типового коттеджа. Царем горы ему не стать, а клиент хочет большего, как всегда))

Просим нейросеть сгенерировать изображение максимально соответствующее оригиналу

Всё что сгенерировалось криво или неверно проявляем по маске в фотошопе из оригинального рендера

Повторяем предыдущие пункты понемногу увеличивая разрешение генерации



Получаем неплохо детализированную визуализацию коттеджа по четкому тз в высоком разрешении

А бонусом можно порадовать клиента еще и сменой времени года

Как видите, это не решение в один клик. Да и вопросов к изображениям появляются
Одной статьей точно не расскажешь о всех нюансах работы со StableDiffusion и ControlNet 

Поэтому, если тема заинтересовала, заглядывайте к нам в тг канал . Там мы делимся своими знаниями и опытом по теме нейросетей.
И также делаем трансляции на Ютубе . Как раз последний эфир был по теме улучшения и изменения 3д Рендера 

Присоединяйтесь

Вот запись эфира

Комментарии (31)

0
paz
анимацию можно сделать нормальную?
0
Vadim Komarov
StableDiffusion - это скорее альтернатива mattepainting'у, а не замена всей сферы 3д графики. Хоть ИИ развивается во всех направлениях, но как по мне, года 2-3 еще точно пройдет до появления полноценных профессиональных инструментов для 3д и видео
+4
paz
очередная игла на которую подсаживают. очередная зависимость от облачных сервисов.
настоящий творец всегда будет оперировать закусками горячими! https://youtu.be/XDp8VWXt3G4?si=xgpMU1xkdLXc4lW4 
0
Vadim Komarov
база
+8
bruceofsev
StableDiffusion ставится на комп стационарно
0
paz
и стационарно обращается к серверу. нет интернета, нет контента. добро пожаловать в 21 век пафоса и обмана. двойных стандартов
+1
bruceofsev
Зачем? на твоём компьютере разворачивается локальный сервер, просто работа идёт через браузер.
0
akkoxe
Ну технически он прав, так как без подключения к гиту оно не работает. То-есть без интернета никак.
+2
user74
у меня всё работает без интернета
+6
shea12
Когда появлялись компьютеры, наверняка кто-то говорил: "А ты попробуй без света посчитать, нет света-нет счета, добро пожаловать в 20 век"
0
grishin
StableDiffusion работает не обращаясь к интернету совсем. дистрибутив (или как правильно назвать весь пакет программы и данных) весит около 20гб, плюс обученные модели для генерации по 2-6 гб. все честно
+9
Vadim Komarov
Всё работает офлайн и устанавливается на свой компьютер. Никакого интернета в процессе работы не нужно!
0
akkoxe
Я учу как работать с оффлайн версией (условно офлайн, так как требуется подключение к гиту). Тут разница в подходе. Я зарабатываю, продавая свои уроки, а кто то зарабатывает на том, что предоставляет доступ к онлайн решениям (как правило кастрированным). Второй вариант намного интересней в плане дохода, так как достаточно развернуть сервер, и пользователь будет платить пока им пользуется, а не пока с ним общаешься.
0
Vadim Komarov
Тоже не понимаю тех, кто сидит на онлайн инструментах. Хорошо что мы в "одной лодке")
+1
D-d_Man
неплохо получилось, с удовольствием посмотрю видео!
+10
loo
какая нудятина на 1.5 часа как это можно смотреть. ребят смените подход. полезной информации там 5% от всего видео
+3
Vadim Komarov
Только начали свой "стримерский" путь.)) Будем исправляться! Спасибо
0
Yarka_Doyarka
Аш написать захотелось ! Спасибо за крутой ответ на достаточно колкое и честное сообщение !
+2
Yehat
Превращение в зиму - интересно. Остальное ерунда. Все, кто такое делает, давно уже рендерят сразу до 5 пункта.
0
Rusty
превращение тоже такое себе... кучевых облаков зимой не бывает, поэтому картинка воспринимается как что-то из магритта
0
Skap
Соглашусь, можно делать сразу хорошо, а не посредственную визуализацию, а потом доводить с помощью ИИ
+1
lis-220
как по мне "четко по тз," если брать первую картинку, то чет совсем не четко. многие элементы исчезли вовсе. а если их нужно вернуть, будут большие вопросы, как с лоу реза вписать их в 4к картинку. Использование как скетчи, ок, людям тем кто не шарит че хотя,т думаю тоже сойдет. а если четкое тз, то пока только виз. Ну кстати , можно окружение генерить , это да, местами удобно
0
Vadim Komarov
Статья создана для того, чтобы показать один из вариантов пайплайна, который позволяет сохранять детали рендера на генерации ИИ. Вы делаете и контролируете сами всё, что будет на финальной визуализации. Будет что-то соответствовать тз или нет, в каком разрешении и атмосфере уже зависит от вас. Не от программы, которая генерирует
0
ceem
что с другими ракурсами? Не думаю что можно сдавать проект с одним ракурсом.
+1
Vadim Komarov
А в чем проблема сделать таким же методом другие ракурсы?
+2
ceem
будет ли совпадать все объекты (окружения) на всех ракурсах?
+1
ck_petya
Если есть реальный проект и модель, то можно нарендерить нужные ракурсы. А дальше прогнать, как и первый кадр через нейронку. Правда шанс, что совпадёт окружение, ничтожно мал
0
Den4ik1
Все будет разное, а еще если правки будут вносится заказчиком, и какие то архитектурные моменты, то будет каша и куча потраченного зря времени, так побаловаться в свободное время или для рекламы можно) для интерьера так вообще забыть можно про ИИ.
0
ceem
вот поэтому и спрашивал.
0
alexbloom
Честное 3D уходит потихоньку в историю, как и умение грамотно написать техзадание. Хотя энтузиастов в России это вряд ли остановит.
0
Mnogo
Спасибо за энтузиазм и обзор ИИ! Жду интересных новостей!