Рендеринг на рендерферме (актуальный вопрос)

Автор
Сообщение
На сайте c 04.12.2012
Сообщений: 65
Москва
Доброго времени суток, коллеги! Не много о том, на чем я работаю:Конфигурация компов: 3 шт.проц: 2990wx мат.плата x399 aorus extreme ОЗУ: 96GB свитч гигабитный3dsmax 2018/Corona Renderer 2.0. Сцена: Общая площадь: ~15 га Подгружено всё в прокси/(FP), блоки/секции - xRefs Разрешение кадра на выходе: 5000х3600 Память загружается на 50-55 гигабайт. 1. Расшарил папку, где есть все xRefs/Proxy/textures, с других компов заходит, всё отлично 2. в DR Server выбрал путь к этой папке 3. Начинаю рендеринг, во вкладке DR начинается "parsing scene", который идёт примерно 20-25 минут. Проблема в том, что когда подключаются другие компы (Slave) у меня уже 36 пассов, а под финал результат такой:45 пассов на главном компе, 5-6 пассов на каждом Slave. Выгоднее просто закидывать разные сцены на разные компы, чтобы за 55 минут рендерились 3 картинки, чем подключать два компа к одному и рендерить как один единый.Какие могут быть рекомендации? проблема в том, что Parsing scene идет очень долго, то бишь разницы почти никакой от двух вспомогательных (slave)
На сайте c 24.05.2009
Сообщений: 9361
Сетка гигабитная?
На сайте c 04.12.2012
Сообщений: 65
Москва
Цитата grdesigner:
Сетка гигабитная?

да, свитч: TP-Link Jetstream 24-Port Gigabit Ethernet L2, в мат. платах есть слот под 10 гигабитный порт, но пока не купил такой свитч )В общем, сетка гигабитная, пока что
На сайте c 24.05.2009
Сообщений: 9361

Если головная машина стартует быстрее остальных, смею предположить, что сцена и все исходники находятся на ней, а не в сети. Собственно узкое место и есть сеть.

На сайте c 04.12.2012
Сообщений: 65
Москва
Цитата grdesigner:

Если головная машина стартует быстрее остальных, смею предположить, что сцена и все исходники находятся на ней, а не в сети. Собственно узкое место и есть сеть.

Так и есть , я собрал всё в одну папку на главном компе, расшарил её, а в DR сверерах указал //192.168.x.x/cache  Тем самым, у меня нету строчки Download xrefs и т.д, просто идёт parsing scene, а после rendering

На сайте c 06.02.2012
Сообщений: 598

Пользуясь случаем.. Все как то стесняюсь тут спросить на форуме.

А где вообще можно найти описание того, как можно сбацать сетевой рендер с нескольких компов? 

На сайте c 14.03.2012
Сообщений: 234
Цитата Korleone:

Пользуясь случаем.. Все как то стесняюсь тут спросить на форуме.

А где вообще можно найти описание того, как можно сбацать сетевой рендер с нескольких компов? 

Что вам мешает вбить в гулге или ютубе к примеру "сетевой рендер вирей/корона"?

На сайте c 10.12.2009
Сообщений: 5680
Kalevan
Цитата Korleone:
Пользуясь случаем.. Все как то стесняюсь тут спросить на форуме. А где вообще можно найти описание того, как можно сбацать сетевой рендер с нескольких компов? 

Гугл: Network rendering, home render farm ну и подобное. 

На сайте c 24.05.2009
Сообщений: 9361

Цитата Korleone:
А где вообще можно найти описание того, как можно сбацать сетевой рендер с нескольких компов? 

Да все банально просто.

1. Отключаете все учетные записи или делаете на всех компьютерах одну с одним паролем.

2. Даете всем компьютерам полный доступ к нужным логическим дискам для всех пользователей.

3. Запускаете на нодах VRaySpawner

4. С головной машины в настройках ставите галочку напротив Distributive Render, в настройках указываете или айпишники машин или их имена. У меня все ноды называются N01, N02, N03 и т.д.

5. Запускаете рендер. А дальше за Вас все делают, распределяют, запускают, рендерят.

6. Само собой в Ассет Трекинге, все пути должны иметь сетевой вид по типу \\WS\... (в моем случае это WorkStation)

Цитата LexxDaniloff:
просто идёт parsing scene, а после rendering

Так парсинг это и есть построение сцены. С подтягиванием текстур, моделей, просмотр модификаторов по типу дисплейсов или когда стек не свернут, все это генерируется.

На сайте c 04.12.2012
Сообщений: 65
Москва
Цитата grdesigner:

Цитата Korleone:
А где вообще можно найти описание того, как можно сбацать сетевой рендер с нескольких компов? 

Да все банально просто.

1. Отключаете все учетные записи или делаете на всех компьютерах одну с одним паролем.

2. Даете всем компьютерам полный доступ к нужным логическим дискам для всех пользователей.

3. Запускаете на нодах VRaySpawner

4. С головной машины в настройках ставите галочку напротив Distributive Render, в настройках указываете или айпишники машин или их имена. У меня все ноды называются N01, N02, N03 и т.д.

5. Запускаете рендер. А дальше за Вас все делают, распределяют, запускают, рендерят.

6. Само собой в Ассет Трекинге, все пути должны иметь сетевой вид по типу \\WS\... (в моем случае это WorkStation)

Цитата LexxDaniloff:
просто идёт parsing scene, а после rendering

Так парсинг это и есть построение сцены. С подтягиванием текстур, моделей, просмотр модификаторов по типу дисплейсов или когда стек не свернут, все это генерируется.

какой выход теперь?)

На сайте c 27.04.2016
Сообщений: 2236

LexxDaniloff

Попробуйте Backburner

Разделить на количество компов splite scan lines, parsing scene будет каждый свою часть а не весь размер в 5000х3600

каждый в итоге парсить будет 5000х1200 

Если все равно долго, то делите еще на большее количество, скажем на 6 

На сайте c 20.09.2006
Сообщений: 6986
Kiev

LexxDaniloff

сцена должна быстро переписываться по сети. проверьте с какой скоростью копирование по сети идет.

и что пишет в логах на нодах

На сайте c 04.06.2010
Сообщений: 3639
Цитата LexxDaniloff:
Проблема в том, что когда подключаются другие компы (Slave) у меня уже 36 пассов, а под финал результат такой:45 пассов на главном компе, 5-6 пассов на каждом Slave.

Возможно стóит на мастере снизить приоритет и отцепить одно ядро.

Цитата LexxDaniloff:

Выгоднее просто закидывать разные сцены на разные компы, чтобы за 55 минут рендерились 3 картинки, чем подключать два компа к одному и рендерить как один единый.

Это если есть кратность трём, иначе идут потери от простоя мощностей. Если один кадр, можно вручную коллектром собирать и удаленно переписывать в папки с идентичными путями. Тогда будет мгновенная сцепка, но это манёвр для одного долгого бьютишота.

На сайте c 24.05.2009
Сообщений: 9361
Цитата LexxDaniloff:
какой выход теперь?)

Попробуйте запустить рендер и посмотреть как вообще ведет себя трафик в сети. Если забивает по завязку, значит она слабое место и надо думать уже как ее разгонять. К примеру переходить на 10 Гбит. Если сеть не загружена на 100%, значит проблема в другом.

Все материалы кстати в одном месте находятся или разбросаны по разным дискам, как локальным так и физическим? Диски 7200 rpm? Дефрагментация была давно?

На сайте c 04.12.2012
Сообщений: 65
Москва

Цитата Rebate:
Цитата LexxDaniloff:
Проблема в том, что когда подключаются другие компы (Slave) у меня уже 36 пассов, а под финал результат такой:45 пассов на главном компе, 5-6 пассов на каждом Slave.

Возможно стóит на мастере снизить приоритет и отцепить одно ядро.

Цитата LexxDaniloff:

Выгоднее просто закидывать разные сцены на разные компы, чтобы за 55 минут рендерились 3 картинки, чем подключать два компа к одному и рендерить как один единый.

Это если есть кратность трём, иначе идут потери от простоя мощностей. Если один кадр, можно вручную коллектром собирать и удаленно переписывать в папки с идентичными путями. Тогда будет мгновенная сцепка, но это гемор тот ещё.

ну я как бы так и сделал, через коллектор. Время уменьшилось до 30 минут, но парсинг идёт от 10-20 минут

Цитата grdesigner:
Цитата LexxDaniloff:
какой выход теперь?)

Попробуйте запустить рендер и посмотреть как вообще ведет себя трафик в сети. Если забивает по завязку, значит она слабое место и надо думать уже как ее разгонять. К примеру переходить на 10 Гбит. Если сеть не загружена на 100%, значит проблема в другом.

Все материалы кстати в одном месте находятся или разбросаны по разным дискам, как локальным так и физическим? Диски 7200 rpm? Дефрагментация была давно?

Диски жесткие новые , у всех одни и те же WD Gold 4 tb, сеть загружена до 100-120 мб.сек, что означает что она загружена

кстати, один обновляет 10 минут , другой комп почти 20, странно все как-то это

На сайте c 04.06.2010
Сообщений: 3639
Цитата LexxDaniloff:
ну я как бы так и сделал, через коллектор... парсинг идёт от 10-20 минут

Не понимаю контекст. Вы перенесли все текстуры на другие компы, положили их прям под нос, их сразу подцепили, но на одном компе парсинг 10 мин, на другом 20, типо они ещё что-то пингуют по сети? А на головном сколько тогда парсинг?

Если вы коллектором перенесли проекты, то все парсинги должны быть идентичны при равных цп. Зависимость только от скорости носителей, на которых текстуры.

На сайте c 04.12.2012
Сообщений: 65
Москва
Цитата Rebate:
Цитата LexxDaniloff:
ну я как бы так и сделал, через коллектор... парсинг идёт от 10-20 минут

Не понимаю контекст. Вы перенесли все текстуры на другие компы, положили их прям под нос, их сразу подцепили, но на одном компе парсинг 10 мин, на другом 20, типо они ещё что-то пингуют по сети? А на головном сколько тогда парсинг?

Если вы коллектором перенесли проекты, то все парсинги должны быть идентичны при равных цп. Зависимость только от скорости носителей, на которых текстуры.

не, не , я видимо заработался, не так написал.Есть главный комп, там есть расшаренная папка (cache), соответсвенно у этого компа есть ай-пиНа остальных двух в DR server я просто прописываю ай-пи/cache (название папки)в этой папке хранится всё (xrefs/textures/proxy. etc)на главной машине парсинг 3 минутына вспомогательных ~10/20может я что-то не так делаю?

На сайте c 04.06.2010
Сообщений: 3639
Сколько весит весь ваш проект, точнее сколько Гб подготовлено для передачи ну и передается соответственно?
На сайте c 04.12.2012
Сообщений: 65
Москва
Цитата Rebate:
Сколько весит весь ваш проект, точнее сколько Гб подготовлено для передачи?

Дело тут не в проекте, который весит 8 гигов, а в том, что идёт parsing и нагружается оперативка в 55 гигов медленно, мне кажется тут даже дело не в сети самой, хотя это не точноDR не показывает, что он что-то копирует, потому что путь один, где всё уже есть. Если путь поменять, то он будет писать, что он качает информацию.
На сайте c 31.03.2011
Сообщений: 9796
Renderfarm
LexxDaniloff дело тут как раз в сцене, где то там косяк, поскольку это ненормально, если такой дикий разброс по парсингу на одинаковых машинах, гигабитной сетки для сетевого рендера более чем достаточно, на 10 гигабитах вряд ли будет существенная разница
Читают эту тему: