Vadim Komarov
13429
45
В закладки
Использование нейросетей в Архитектурной визуализации

ЯВЛЯЕТСЯ ЛИ РАБОТА, СДЕЛАННАЯ С ПОМОЩЬЮ НЕЙРОСЕТЕЙ, ТВОРЧЕСТВОМ?

Мы с командой NishA студии всё активнее внедряем инструменты ИИ в повседневную творческую работу.
Можем с уверенностью сказать, что нейросети НЕ заменяют художника, а наоборот позволяют ему максимально творчески подойти к работе, не отвлекаясь на технические процессы и ограничения.

Этим небольшим разбором работы хотим приоткрыть тайну использования Нейросетей в архитектурной визуализации и концептуальном проектировании.

___________________________________________________________

ИНСТРУМЕНТ

Мы выбрали Stable Diffusion.
Эта нейросеть имеет наибольший набор функций для контролирования процесса создания изображения. И что немаловажно — она может работать бесплатно с вашего ПК без использования интернета.
На основе Stable Diffusion создаются различный интерфейсы и программы: Automatic1111, ComfiUi, Invoke AI, Easy Diffusion, DreamStudio, SD.Next и многие другие

Мы попробовали разные, и советуем начинать с работы в Invoke AI . И когда его функционала вам будет не хватать, то переходить на Automatic1111 или ComfiUi
___________________________________________________________

С чего же начинается работа с нейросетью?

Конечно же с идеи и основы, на которую будет ориентироваться ИИ. Это может быть очень схематичный эскиз от руки, или скриншот 3д вьюпорта архитектурной программы, или детальным рендер в короне. Уровень участия нейросети можно контролировать.

Используя инструмент ControlNet , генерируем варианты на основе нашего эскиза. Подбираем текстовое описание исходя из идеи. Тут главное суметь вовремя остановиться

Итоговое описание было примерно таким:
architecture visualisation, archdaily, mountains, walking people, hiking, minimalistic future building, entrance, parallel wooden planks, detailed background, warm light, artstation

Выбрали наиболее понравившийся вариант


Делаем upscale x2. Stable diffusion может добавлять детали при увеличении разрешения изображений


С помощью инструмента Inpaint дорабатываем отдельные детали

Нейросеть позволяет генерировать бесконечное множество вариаций людей и объектов по описанию и самостоятельно вписывать их в ваше изображение. Они будут точно соответствовать освещению и цветовой гамме окружения.

Больше не нужно тратить множество часов на поиски нужных изображений для антуража, а потом вырезать их в врисовывать в Фотошопе.

Inpaint также позволяет "дорисовывать" новые части изображения понимая контекст. Добавляем справа ущелье с людьми


Делаем финальный upscale до крупноформатного качества 6400х3700 pix

Финальный результат тут The MountAIns 
___________________________________________________________

Мы показали всего лишь один сценарий использования ИИ в архитектурной визуализации.

Является ли такой процесс творческим — пусть каждый решит для себя сам. Для нас нейросеть стала просто еще одним инструментом, который ускорил рутинные процессы и позволил выйти на новый уровень качества работ.

___________________________________________________________

P.s. В подобный обзор работы невозможно уместить все нюансы работы с ИИ. Если вам интересна эта тема, то будем рады реакциям и комментариям. Это замотивирует нас на создание новых уроков по Нейронкам и детальным разборам других сценариев использования их в архвизе.

3ddd не позволяет грузить в блог изображения в высоком разрешении.
Поэтому полный making off с фулсайз изображениями можете посмотреть на нашем Behance
А почитать о нейросетях у нас в Телеграме

Всем спасибо!

Смотреть всех
making offbreakdownarchitectureexteriorai

Комментарии (48)

+5
2garyn
и останется чистое творчество без рутины... Это прекрасно. Все противники АИ не осознают, что на данный момент так же используют средства генерации, просто другого уровня. Это и генераторы текстур в сабстенс дизайнере и просчеты частиц и анимация промежуточных ключей и прочее прочее прочее. Данная технология это всего лишь новый уровень генерации.
+7
Antony1493
Чистое творчество - это ключевые слова для нейронки вписывать? Типа дождались кнопки сделать быстро и красиво.
+2
2garyn
уверен и такой вариант не за горами.
+17
DoshikPlay
С помощью инструмента Inpaint дорабатываем отдельные детали - Я против ИИ именно из-за вот таких вещей. Когда автор ИИ изображения подменяет понятия. Вы не дорабатываете детали. Инструмент на основе ИИ дорабатывает детали, а вы командуете что доработать. Вы заказчик, просто вместо живого художника у вас робот. Но вы в роли заказчика.
Изза того что вы подменяете понятия вы ставите себя на одну планку с художниками которые за счет своего таланта и опыта рисуют также красиво как ИИ. Это не справедливо.
А так, пользуйтесь на здоровье чем хотите. Просто вы не будете расти. Расти будет ИИ а вы будете тупеть
+4
paz
вот это молодец, правильно подметил. Подмена понятий. Все правильно, такие вот "авторы" приравнивают себя к людям которые годами изучали 2д и 3д графику,
No to AI generated art in 3d Galleries!!!
На артстейшене это уже проходили. Тут позднее зажигание
+3
Vadim Komarov
Есть хороший пример с художниками, которые когда-то рисовали в ручную каждый рекламный плакат и вывеску в городе. Весь графический дизайн был пропитан реальным творчеством. Но им на смену пришли принтеры и различные "фотошопы".
Был сильный протест сообщества против внедрения подобных технологий. Боялись, что тысячи людей останутся без работы. Знаю некоторых, кто до сих пор против любой компьютерной графики. Но результат и какое сейчас отношение большинства к этому мы знаем.
+3
lis-220
вы слегка путаете как по мне. из рисовать руками на плакате, и рисовать на другом инструементе, но продолжать рисовать и потом печатать ( плюс одна итерация) это чутка другое. Тут же в теории, можно исключить в целом художника, или сместить его . соответственно минус 1.Имхо
+3
Vadim Komarov
Вы видимо ни разу не пробовали делать реальный коммерческий проект с применением ИИ.
Как раз работа нейронок- это плюс одна или несколько итераций, к обычному пайплайну художника.
Да в этом разборе мы показали, как идет работа от простого эскиза. Но чаще всего исходник- это такой же рендер из короны, октана или любой другой программы. А ИИ подключается на самом первом этапе согласования концепта изображения с клиентом и потом на этапе постобработки и доработки уникальных деталей.
0
lis-220
так точно,сижу вакууме свет вижу очень редко .подождем когда клиент скажет и так сойдет,где касса. а художнику это минус в карму. плохому художнику плюс в карму. ) в целом я сторонний наблюдатель,ждем итого.
0
paz
Комментарий удален
+1
aerograph
Мимо шел, но хочу подметить один момент!
Сейчас я лично наблюдаю то,что более уважаемым становится ручной труд(написание картин маслом, ручная вышивка, плетение, посуда и тд и тп. )
Что касаемо ИИ я думаю что это читерсво в чистом виде! Допустим взять того же Хади Карими с его скульптом высшего уровня. Теперь ИИ может так же сделать по фото, а через несколько лет я думаю сможет и затекстуренную модельку выдать по фото может даже с ригом. Выходит замечательный и талантливый 3д скульптор развивавший себя всю жизнь станет ненужным,ну или менее востребованным как минимум. А это уже обидно и не интересно. История из мультика Валли все ближе!
+3
gooodwin
С такими инструментами творчество станет иным. Такая же история была и про фотографию мол художники умрут ( как по мне то они только лучше жить стали))) и тут те кто и без ИИ могут такое делать с ИИ выйдут для большинства на недосягаемый уровень, а тот кто против просто умрет и будет заниматься скорее всего другой деятельностью, глупо на мой взгляд быть против ( если это уже существует и никуда не денется) лучше потратить силы на изучение чтобы расширить свои возможности. И да по большей части если это заказ то всем вообще пофиг как ты его достиг главное результат ( 3д 2д от руки нарисовал )
+1
DoshikPlay
Извините)) но по сути этот "инструмент" заменяет талантливого художника на робота. Вот все что он делает. Результат то один и тот же. Просто раньше заказчик писал что он хочет человеку а сейчас роботу и тот рисует, как раньше рисовал человек.
Вы говорите про замену инструмента а это замена человека на робота. Результат то при этом почти одинаковый)
+2
Rolan05
Спасибо за небольшой урок! Очень интересна эта тема, поэтому продолжайте) По-моему использование ИИ это чистое творчество, возможно упрощенное, но все же. Так что отрицать ИИ и всячески пытаться не связываться с ним по мне так плохая идея, нужно идти в ногу со временем и во всем искать преимущества.
+8
Ivanov_CG
Отличный инструмент. Если позволяет выполнять задачу с меньшим затрачиванием ресурсов, то глупо не использовать. А всем, кому нравится моделировать каждую травинку в сцене, никто же не запрещает продолжать этим заниматься. Главное получать удовлетворение от собственной работы, я считаю.
0
paz
Сейчас Vadim Komarov впихнется в 3д галерею со своим ИИ. Работа на модерации уже
Погодите...
Хайповый инструмент, чего там. Пипл хавает, на остальное плевать.
Вы думаете я так не могу или не смогу. Смогу лучше и с ИИ и без ИИ. Вопрос не в этом.
+2
2garyn
ну хватит уже думать только о себе, о своем величии, личном мировом признании, намеренном замедлении прогресса в пользу своих потребностей. уже в каждой теме про модерацию в галерее... Не выкладывай на 3ддд и всё...
-1
paz
разберемся без консультантов
0
89188656656
не думаю что сможешь
+4
Quasar
ИИ хорош в том плане, что если разовьется, то заставит многих изучить новые профессии, а не стоять на месте, 20 лет делая одно и тоже.
0
Djeksonkgkg
Привет! В готовый виз можно вставить людей? Можно сгенерить по готовому визу ночное освещение, другие погодные условия? Можно сделать вариации отделочных материалов? Если да, какие инструменты смотреть?
0
Vadim Komarov
Да, возможность такая есть. С некоторыми поправками, но есть. Смотрите все по теме stable diffusion и ControlNet
Если интересно то в телеграмеhttps://t.me/NishA_Ai  рассказываем об этом
+3
blendspace
насколько может быть творческим коллаж-аппликация по контурному эскизу с ручной правкой перспективных искажений, освещения, отражений? пусть даже 50/50 с техническим навыком фотошопера, но тут от творчества уже только эскиз и знание ключевых слов для поиска подходящих ингредиентов, шлифует же и притирает которые "продвинутый калейдоскоп". "нажми на кнопку, получишь результат", в общем )

* как инструмент прототипирования – м.б. и сгодится, или как пост-обработчик для вставки людей в картинки, но ценность его в любом случае обратно пропорциональна графе "тираж", поэтому плюсую к тезисам о позднем зажигании с подменой смыслов
0
Vadim Komarov
Если вы садитесь с конкретной концепцией и образом в голове, который обдумываете в процессе и наполняете своими идеями, то что же это тогда?
+1
blendspace
если речь о нейронке – максимум конвейерная сборка "лего" из запчастей по номенклатуре из накладной – "модельки самолётиков по инструкции", штамповка, в отличие от папы карло, который может с ноля запилить уникальный фрегат в масштабе. для буратин )
0
Rolan05
Тогда по вашему визуализаторы, работающие по ТЗ тоже по сути скупают модели и просто собирают сцену? и это тоже не творчество? По сути творчество это создание чего-то нового что представляет какую-то ценность
0
blendspace
скорее да, местный архвиз – это больше про ремесло, "отвёрточная сборка", если угодно, однако элемент творчества (шейдинг, лайтинг, художественный ракурс и пр.) присутствует, особенно если это авторская работа без жесткой приязки к тз, иначе творцом выступает дизайнер и визер лишь исполнитель его воли. джинн. as you wish )
+4
ck_petya
Берётся болванка, закидывается в нейронку или в фотошоп с нейронкой, а далее рутина с выделением фрагментов, забиванием необходимого текста в строку и постоянное нажатие на кнопку "генерации" до того момента, пока не устроит результат изображения в выделенном фрагменте.
Правильно описал столь "сложный" процесс или в корне не прав?
0
Vadim Komarov
Я могу также описать процесс создания любого 3д интерьера к примеру.
Берете болванку со стенами, закидываете в макс, а далее рутина с забиванием в поисковик названий нужных объектов мебели и текстур, добавлением их в сцену и нажиманием на кнопку "рендер" до момента, пока не устроит результат.

На деле все всегда сложнее и каждая задача требует своего подхода. К примеру периодически приходится дообучать нейронку паками своих рендеров, чтобы она лучше понимала, что нужно. Да и задача по сохранению деталей исходной "болванки" - не из простых.

Дождитесь более глубокого урока по работе с нейронками, возможно мнение поменяется.
0
ck_petya
Зачем обучать, страдать? Есть жеhttps://civitai.com  Там свалка всего, что душе угодно.
При работе с сценой в Максе вы не указали про настройку света, ракурса, камеры, шейдеров, ну и на мой вопрос прямо тоже не ответили.
Я не говорю, что это плохой инструмент, я просто утверждаю, что это обычный инструмент и не понимаю, зачем из его использования раздувать какое-то "вау".
+2
Vadim Komarov
Потому что там свалка, как вы и сказали) А иногда нужно что-то специфичное. Тут и приходится дообучать. Это не так -то и сложно, если разобраться.

Кстати заметьте, нигде про вау не написано. Я везде говорю, что ИИ - это просто еще один инструмент, который не заслуженно многие пропускают мимо. А в этой теме на данный момент есть большие перспективы и сейчас она в зачаточном состоянии.
0
3drj
не знаю как это будет дальше - но например деления окон сделать четко как я хочу он сможет? как это описать? тут больше для эскизов пока вижу реальную пользу, не более
0
Vadim Komarov
Посмотрите инструмент control net. Он позволяет выдавать задачи нейросети опираясь на любое изображение. При чем это может быть как отрендренный пас Z-depth, normals, material id и т.д. И будет всё как вы хотите.
0
NosovDima
Все никак руки не доходят до того чтобы сделать рендер домика на прозрачно фоне, а потом через control net вписать в различные ландшафты, кто нибудь делал?
0
ck_petya
нет
+2
flooder
Окей) Одну картинку ИИ создал. А как насчёт ещё 10+ "доп камер", с абсолютно разных ракурсов, с разным освещением, временем суток, с абсолютно теми же людьми и окружением, прям "камушек в камушек", чтобы на каждом ракурсе повторялось?
+3
baikot
По-моему крутой инструмент для создания концепта) На его примере согласовать базовую форму архитектуры, окружение, атмосферу, а потом уже собирать руками сцену фуллсиджи, всё как мы любим)) И из собранной сцены уже делать столько ракурсов, сколько нужно

Мне кажется, чем более творческий пайплайн (условные MIR, K2 и им подобные), тем больше там будут использовать ИИ для создания быстрых скетчей, с последующей доработкой классическими инструментами т.к. там не стандартные ракурсы и атмосфера. А в конвейерной работе у обычных визеров и так творчества не густо

А ещё тут упоминали про то, что ИИ палится прямо с превью. Но ведь сиджи тоже в основном палится прямо с превью)) Просто мы к этому привыкли. Таких спецов, кто делает гиперреалистичные рендеры мало, да это и не главное. Палевно-сиджишные работы как решали задачи клиентов, так и продолжают решать. И если ИИшные работы будут эти задачи решать, то ИИ место в профессии однозначно найдется
0
flooder
Но тема то называется "Использование нейросетей в Архитектурной визуализации", а не "делаем ИИ концепт для согласования" ))

Честно говоря, за свою 25 летнюю практику не встречал на своём пути ни одного заказчика архитектурки ,который бы попросил сделать только один кадр, "своего домика/здания/беседки/итп только с левого бока" ))

Да и забавно будет, когда среднестатистический спец сделает такой вот ИИ концепт, его утвердят, а финальный результат во всех аспектах будет слабее, чем первостепенная генерация. И тогда будут вопросы у заказчика - "мы то хотели так то, а чего ж вы нарисовали то не так красиво. Нет, не принимаем!".

И старые фразы отмазок типа "Вы же на фотографии ориентировались реальные, а это же графика" - уже не станут аргументом )))
0
blendspace
технически это возможно, как оцифрованные ассеты квикселя или как в агисофте по набору картинок создаётся облако точек, только здесь за основу будет взят лишь фронтальный вид, от которого сначала будут "угадываться" дополнительные - приемлемые по контексту 5 ортогональных проекций ("сбоку от глаз должно находиться ухо", если упрощённо) между которыми будет использоваться интерполяция, как добавление доп. кадров каким-нибудь топаз-семплером. был недавно кондовый пример в блогах: https://3ddd.ru/blog/post/addony_s_podderzhkoi_stable_diffusion_dlia_3d_programm_prodolzhaiut_poiavliatsia_kak_goriachie_pirozhki_v_etot_raz_dlia_maya 

– технологии подобного мапинга сто лет в обед, просто раньше текстурные швы ретушировались вручную. затем нейросетке скармливается датасет из подходящих болванок (условно, куб) и указываются условия от угла обзора, настройки линз до степени освещённости и т.п. дождика. может быть и посложнее – скармливается схематичный скелет, у которого предусмотрена большая вариативность поз для интерполяций в соответствии с вращением суставов.

* дело в другом: как было сказано выше, алгоритмы для автоматизации могут и усложняться за счёт интеллекта программеров, но вот обыватели перед мониторами будут неуклонно тупеть и в итоге деградируют до питекантропов-кнопкодавов. cui prodest? )
0
shoha
Все правильно, профессия визуализатора можно сказать вымерло, я так считаю, нужно уступить нейросетям, пусть делают работу которую сейчас делают визуализаторы за тарелку супа
+1
Alvion
ок! Свизуализируйте мне через ИИ дизайн квартиры по точному ТЗ. Посмотрим)))
+1
waxcompany
Мне очень понравилось! Спасибо за ваши эксперименты. ИИ - мощный инструмент, развитие которого неотвратимо. Закрывать глаза и прятаться под кроватью "аля давайте запретим" - глупо. Почему-то профессия художника не вымерла с появлением компьютера, дигита, 3Д программ, а с появлением ИИ обязательно вымрет..Ага, щасс! Кто будет по ТЗ всё делать? Подбирать результаты, зарпосы/подсказки, следить за новшествами всей индустрии? Как вставить в ИИ-картинку нужный тебе дом? А его замоделить надо...Короче - бред все опасения. Это вспомогательный исструмент, пусть и очень мощный
0
shoha
Это дело времени, не вижу перспективы в визуализации
0
GodModeling
это только под ракурс норм делать! камеру скажут повернуть и занова рисуй))
+1
shoha
На сегодняшний день да, через 10 лет 360 будут делать, меняйте профессию люди)
+1
Oleg_Vizer
"чистое творчество" оно конечно прекрасно, но где тут заработок себе на жизнь? Каждый этап развития ИИ это минус рабочее место, вот так все просто. или как минимум обесценивание стоимости работы, падеж ценников. В Холливуде вон вообще забастовка началась, т.к. там ушлые продюсеры начали просто оцифровывать актеров, выплачивая им небольшой гонорар за саму оцифровку, а дальше используя их цифровых двойников без оплаты самим актерам. Речь пока идет об обычных актерах третьего и второго плана, не топовых звездах, но это все впереди.
+1
89188656656
вы знаете, творчество творчеством, а архитектурная визуализация- это в первую очередь про деньги, а посидеть творчеством позаниматься можно и на досуге.
Какая разница каким образом лутать зеленую бумагу?!.
то что происходит сейчас- это необратимый процесс, дальше все зависит только от вас, сможете ли вы оседлать волну или будете ныть как неолудиты
0
Mnogo
Спасибо большое, что делитесь своим опытом!