Распределение мощности при рендере. Почему самая мощная нода рендерит медленнее?

Автор
Сообщение
На сайте c 04.03.2020
Сообщений: 89
Оренбург

Всем доброго времени суток, с праздником всех Архитекторов!

Друзья, имеем 4 ноды. Все они на парных процессорах, кроме того который штеуд и9. Сегодня на каждом из них установили свежую Вин10, Макс и корону. Необходимость была из за замены hdd на ссд. И о чудо, по результатам рендера огромной сцены нефтебазы, я вижу что 8170 показал наихудший результат, а среднячок на 2697 самый топовый. Как это понимать? Я допустил, что пасс массу не рознь и они могут быть разными по сложности вычислений. Это верно или я несу чушь? И как вообще должна распределяться сцена, что влияет на это распределение при условии одинаковой скорости жёстких, памяти и сетки? В приложении результаты рендера этой самой схемы.

На сайте c 31.03.2011
Сообщений: 9796
Renderfarm

картинка бьется на части и каждая машина рендерит какую то свою рандомную часть, отсюда и разное количество пассов от каждой, тут у вас даже 2 одинаковые машины выдали разное количество пассов

пс еще есть нюанс, платинумы нормально работают только на оф дистрибутивах винды, метод активации тут неважен, а на левых сборках с ними происходят чудеса и нестабильная производительность

На сайте c 04.03.2020
Сообщений: 89
Оренбург
Цитата xpp_nd_ruphus:

картинка бьется на части и каждая машина рендерит какую то свою рандомную часть, отсюда и разное количество пассов от каждой, тут у вас даже 2 одинаковые машины выдали разное количество пассов

пс еще есть нюанс, платинумы нормально работают только на оф дистрибутивах винды, метод активации тут неважен, а на левых сборках с ними происходят чудеса и нестабильная производительность

Спасибо за ответ! Про оф Винду не знал, завтра попробую переустановить.

На сайте c 31.03.2011
Сообщений: 9796
Renderfarm

явный показатель, если есть проблема с виндой - заниженные результаты в вирей бенче, синебенче и корона бенче или же нестабильные результаты в корона и вирей бенче с большим разлетом значений

для синебенча r15 разлет в 300-400 баллов между прогонами теста это нормально на платинумах

На сайте c 29.11.2010
Сообщений: 629
Уфа
На DR имеет смысл ставить если надо только одно изображение, которое рендерится дооолго, в остальных случаях лучше ставить отдельные картинки на каждую ноду,  особенно в короне, т.к. там эффективность DR ниже, чем у бакетного (например Vray). И если частота запроса пассов будет низкой, то может даже получиться что основная машина отрендерит картинку сама, а сервер просто докинет эти пассы сверху, т.е. например к плановым 100 пассам прилетит еще 80 с сервера и будет в сумме 180 пассов. Если сцена тяжелая, а сеть узкая, то возможно до каких то машин данные просто позже догрузились.
На сайте c 05.04.2010
Сообщений: 561
Amber land
Мнение противоположное предыдущему. В короне кадр который одна машина рендерит 6 часов, 3 на др рендерят 15 минут. Обнаружили также что эффективность процессора имеет критическое значение, при полностью одинаковой конфигурации i9 9 поколения эффективнее почти в 4 раза против того же i9 но 7 поколения. Такие вот пирожки.
На сайте c 31.03.2011
Сообщений: 9796
Renderfarm

Jeenna dr никогда не дает 100% прирост от каждой ноды, как правило прирост от каждой ноды не превышает 90% и то только на долгих рендерах, на быстрых рендерах, особенно если сцена тяжелая по весу, то на нодах она стартанет еще и с большой задержкой

и нужно еще понимать такой момент, при рендере одной машиной и при рендере через dr нужно разное количество пассов для достижения одинакового процента по шумам, поскольку каждая машина рендерит только свой кусок рандомный и для каждого локального куска процент шума считается отдельно и только потом шумы сшиваются и перераспределяются, когда приходят с нод

На сайте c 05.04.2010
Сообщений: 561
Amber land
Цитата xpp_nd_ruphus:

Jeenna dr никогда не дайте 100% прирост от каждой ноды, как правило прирост от каждой ноды не превышает 90% и то только на долгих рендерах, на быстрых рендерах, особенно если сцена тяжелая по весу, то на нодах она стартанет еще и с большой задержкой

Ну не знаю, даже при полностью упакованном форест паком и рейл клоном файле парсится минут 10, не особо то это и долго, до первого пасса обычно минуты две проходит, реальное время на эстимэйт показывает после первых двух. Проводили эксперименты и прирост эффективности совсем не линейный и 100% превышает точно. SIC - сцена и всё что её касается не подгружается, всё синхронизировано. 

На сайте c 31.03.2011
Сообщений: 9796
Renderfarm

Jeenna я говорю о весе макс файла, он критически важен для др, чем больше файл,тем дольше он сохраняется, оправляется по сети и открывается на нодах, максовский файл отправляться будет в любом случае

прирост никак не может превышать 100%, это в принципе невозможно, прирост такой дикий может быть только в том случае, если рендерите до пассов, а не до шумов, но в таком случае при др у вас картинка будет выходить шумнее, чем на одной машине, поскольку при др общее количество пассов до нужных шумов может быть 2 раза выше, а может быть и в 6 раз, смотря какая сцена

На сайте c 05.04.2010
Сообщений: 561
Amber land
Если по сети пересылается то конечно будет долго и нудно, при синхронизации всё шустро. Денойзить можно и после если из cxr, не вижу проблемы, с др никаких особых зависаний нет, data collect только делает потом и всё
На сайте c 31.03.2011
Сообщений: 9796
Renderfarm
Jeenna при др максовский файл в любом случае будет пересылаться, по другому не бывает, поскольку используется при рендере текущий файл сцены, а не тот что синхронизирован заранее
На сайте c 29.11.2010
Сообщений: 629
Уфа
Цитата Jeenna:
Ну не знаю, даже при полностью упакованном форест паком и рейл клоном файле парсится минут 10, не особо то это и долго,

Хм... извините, но иногда одна картинка рендерится 20 минут на одной машине.

Например сцена весит 20ГБ(с текстурами) и вот чтобы это все загнать в ноды нужна хорошая сетка, а 1Гбиткой на 4 машины это еще более 10 минут уйдет.

Я когда-то делал анимацию, и там один кадр рендерился 3~7 минут при этом сам процесс рендера занимал 1-3 минуты, остальное подготовка. DR в такой ситуации давал вообще отрицательный результат, причем в разы).

На сайте c 04.03.2020
Сообщений: 89
Оренбург
Цитата motnahp1:
Цитата Jeenna:
Ну не знаю, даже при полностью упакованном форест паком и рейл клоном файле парсится минут 10, не особо то это и долго,

Хм... извините, но иногда одна картинка рендерится 20 минут на одной машине.

Например сцена весит 20ГБ(с текстурами) и вот чтобы это все загнать в ноды нужна хорошая сетка, а 1Гбиткой на 4 машины это еще более 10 минут уйдет.

Я когда-то делал анимацию, и там один кадр рендерился 3~7 минут при этом сам процесс рендера занимал 1-3 минуты, остальное подготовка. DR в такой ситуации давал вообще отрицательный результат, причем в разы).

Как вариант, 10гб сетка?

На сайте c 29.11.2010
Сообщений: 629
Уфа
Цитата artem.fiks:
Как вариант, 10гб сетка?

Если большие сцены и частый DR, то обязательно, но учтите, то 10Гб без скоростного ССД не имеет смысла.

На сайте c 04.03.2020
Сообщений: 89
Оренбург

Цитата motnahp1:
Цитата artem.fiks:
Как вариант, 10гб сетка?

Если большие сцены и частый DR, то обязательно, но учтите, то 10Гб без скоростного ССД не имеет смысла.

вы про М2 nvme? Т.е. обычный SSD не подойдет?

Цитата motnahp1:
частый DR

Как понять?

На сайте c 29.11.2010
Сообщений: 629
Уфа
Цитата artem.fiks:
вы про М2 nvme? Т.е. обычный SSD не подойдет?

для нод хватит и sata, для основного хотя бы слабенький nvme.

Цитата artem.fiks:
Как понять?

Если редко пользуетесь распределенным рендером, то смысла городить 10Гб нет (дорогое удовольствие).

На сайте c 31.03.2011
Сообщений: 9796
Renderfarm
если сетевые пути выставлять, то кроме сцены по сетке ничего не пересылается и соответственно старт рендера будет куда раньше на нодах, чем при локальных путях
На сайте c 04.03.2020
Сообщений: 89
Оренбург
Цитата motnahp1:
Если редко пользуетесь распределенным рендером

Всегда им пользуемся)

На сайте c 28.09.2006
Сообщений: 3821
Москва / Дубай
Цитата xpp_nd_ruphus:
если сетевые пути выставлять, то кроме сцены по сетке ничего не пересылается и соответственно старт рендера будет куда раньше на нодах, чем при локальных путях

Смотря, чем дистрибутивить. Дедлайн, если не ошибаюсь, в любом случае пересылает на репозитарий сцену со всеми ассетами, независимо от путей в файле.

На сайте c 29.11.2010
Сообщений: 629
Уфа
Цитата xpp_nd_ruphus:
если сетевые пути выставлять, то кроме сцены по сетке ничего не пересылается и соответственно старт рендера будет куда раньше на нодах, чем при локальных путях

а как же прокси? Они разве в момент построения не запрашиваются с головной машины/сервера?

Читают эту тему: