а не создать ли нам Renderfarm?

Автор
Сообщение
На сайте c 19.02.2012
Сообщений: 121
UPDATE3:

я готов сделать образ виртуальной машины с базовой версией скрипта и предустановлeнным софтом макс 2013 vray 2.30.1, операционка урезанная XP 64.

у кого есть реальный IP? может кто-то организовать FTP сервер? например Filezilla?
для начала рендерить будем только картинки, место нужно по минимуму.


UPDATE2:
программу распределения писать не нужно.
можно просто создать дирректорию для проекта в этой дирректории создать кучу файликов для каждого блока:

0_0_128_128.blk

Что соответсвует блоку 0/0/128/128 и т.д.

когда кто-то начинает рендерить, он этот файлик переименовывает.

0_0_128_128.rendering_212.23.23.23.blk

добавляя свой айпи.
когда рендеринг закончен, и вместе с аплоадом картинки файлик переименовывается в

0_0_128_128.complete_212.23.23.23.blk

все это можно реализовать одним скриптом который крутится на каждой витруальной машине.
единственное что нужно сделать это дополнительный скрипт (который запускает тот, что отправил рендеринг)
который следит, если кто-то очень долго не переходит из

0_0_128_128.rendering_212.23.23.23.blk

в

0_0_128_128.complete_212.23.23.23.blk

он переименовывает файлик назад:

0_0_128_128.blk
и создает дополнительный: 0_0_128_128.banned_212.23.23.23.blk

тем самым создается возможность другому пере-рендерить этот блок.

все.
единственное что нужно это программа чтобы соединить блоки.



UPDATE:

нужен лишь ftp-шник и все.

можно сделать так, написать скрипт, который рендерит регионы (аналог блоков uTorrenta), каждый получает зип с текстурами и сценой. скрипт разархивирует сцену, запускает рендер командной строки, используя только половину процессоров системы (например два или даже один).
часть картинки аплоадится обратно на фтпшник.

для того чтобы у всех был одинаковый софт, создается image vmware, с предустановленными настройками для дотупа к фтп и сприктом, который постоянно крутится в ожидании новых запросов на рендеринг.

единственное что нужно программировать, это программу распределения какому компу какой кусок рендерить (типа торрент трекера).
ну и конечная утилита собрать общую картинку из блоков.
это может каждый делать самостоятельно. скачал всю папку с кусками, запустил отдельную программу, получил общую картинку.

Пролетарии всех стран Объедитесь в борьбе против капиталистов одиночек!
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
идея абсурдна, ибо для корректного сетевого рендера на всех машинах должны стоять одинаковые версии софта и всех плагинов
да и опять же - как быть в таком случае с путями к текстурам и проксям? для этого должен быть единый сервер, с которого все будут брать текстуры и прокси, но опять же бред, ибо скорость передачи данных не позволит, всетаки интернет то не гигабитный
На сайте c 18.07.2010
Сообщений: 453
если заморочится, то все возможно)
На сайте c 15.04.2011
Сообщений: 429
Москва
Техноманьяки
На сайте c 08.05.2008
Сообщений: 1593
страна Грёз
Quote:
а не создать ли нам Renderfarm?
не не создать...
На сайте c 28.12.2007
Сообщений: 1541
Москва
Quote:
Нужна одна машина с Реальным IP, которая будет хостить тунели, не рендерить.
все остальные ноды будут обычные пользователи, нужно будет запустуть VPN клиент или типа такого и вы в сети.

Ох еслиб все так просто было. Помимо проблем с одинаковостью версий и проблем с путями к файлам (даже если это как-то решить) начнуться проблемы с разностью мощностей отдельныйх нодов (у кого-то 64 гб оперативки, у кого-то 4гб. У когото 32 ядра, а у кого-то 2) - и с какими настройками отправлять сцену? Это будет ферма со скоростью самого медленного нода, который в ней окажеться. И если выгода и будет, то только для тех у кого совсем слабые машины и ноуты.
Вот еслиб можно было создать что-то вроде перинговой сети, тока для рендера, что-то типа торрента, но как это сделать и возможно ли такое, я не знаю я не программист.
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
да и к тому же фермы нужны только для рендера анимации и огромных разрешений (15000px+ по длинной стороне)
и если нужно отрендерить ролик, то бюджет проекта всегда закладывается расход на аренду рендерфермы, коих сейчас великое множество, да и по деньгам это сейчас вполне приемлемые цифры
На сайте c 24.02.2010
Сообщений: 1216
Петрозаводск
да нет, почему, для статики тоже хороша ферма. я например стараюсь настраивать сцену так, чтобы кадр рендерился не больше 2 часов, большее время для меня не приемлимо. А вот если бы была такая бюджетная рендер ферма - то есть возможность сделать кадры почище. у меня к примеру комп включен практически круглые сутки - мог бы поделиться с кем-нибудь, если бы мне при этом не пришлось возиться с текстурами и тд
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
rudnikov2006
в этом плане проще и выгоднее будет купить вторую машину - на одной рендеришь, на другой работаешь, либо сразу на обеих рендеришь, по крайней мере они всегда в любой момент тебе будут доступны, ты будешь четко знать, что и как у тебя установлено и не будешь париться из-за путей.

я сам сейчас задумываюсь о том, чтоб вторую рабочую станцию покупать, чисто под рендер, с интегрированной видео картой, ибо не всегда все успеваю
На сайте c 14.04.2009
Сообщений: 1030


Account is banned


Пожизненный бан
Сама идея инересная, но для ее реализации действительно слишком много препятствий пока. Тут больше работа для програмистов, возможно потребуется создание софта что то вроде uTorrent, возможно и в рендер движке потребуются изменения.
На сайте c 10.07.2008
Сообщений: 1693
Украина, Киев
Quote:
в этом плане проще и выгоднее будет купить вторую машину
Давно уже так сделал и не жалею. Очень удобно. Рабочая машина слабее, чем рендер машина - это из-за экономии денег у меня так. Пока считаются тесты или рендеры - работаешь дальше. Рабочий диск подключен как сетевой - то есть пути на всех машинах одинаковые.
Есть еще нюанс. Сервер для хранения файлов. Я его сделал на третьем очень слабом компе под линуксом. Проблема в том, что если файлы на каком-то из рабочих компов - то при рендере доступ к ним затрудняется. Были паузы и задержки, поэтому пришлось сделать отдельный серверок.

А про сетевой рендер по инету тоже были мысли, но так и не опробовал. Есть программы, которые делают типа локалку по инету. Можно с ними попробовать. Бэкбурнер архивит сцену и передает ее с текстурами, так что такой вариант теоретически возможен. А вот насчет вирей дистрибутив - не уверен.
На сайте c 19.02.2012
Сообщений: 121
Quote:
идея абсурдна, ибо для корректного сетевого рендера на всех машинах должны стоять одинаковые версии софта и всех плагинов
да и опять же - как быть в таком случае с путями к текстурам и проксям? для этого должен быть единый сервер, с которого все будут брать текстуры и прокси, но опять же бред, ибо скорость передачи данных не позволит, всетаки интернет то не гигабитный
текстуры не террабайты весят.
подойдет общий виртуальный диск под VPN.

все остальное решается скриптом.
версии должны быть одинаковые да, это единственное требование.
На сайте c 23.07.2009
Сообщений: 1796
-
тема интересная, но, в очередь нужно будет за пару лет становиться, это если конечно эту утопичную идею смогут таки реализовать, с виртуальным сервом.
На сайте c 19.02.2012
Сообщений: 121
Quote:
тема интересная, но, в очередь нужно будет за пару лет становиться, это если конечно эту утопичную идею смогут таки реализовать, с виртуальным сервом.
vladlv все реализует, нужен только фтп-шник и vmware.
кто-то рендерил под vmware?
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
vladlv
vmware? это что за зверь?))
я по сетке только через Backburner рендерил
На сайте c 16.07.2010
Сообщений: 1208
Честно, прочитал первый пост... Наверно я не программист, раз уж не догнал.
Вы хотите сделать так, чтобы пользователи объеденились, и рендерили свои сцены сообща, т.е. на всех свободных компах, будет запущен рендер? Правильно понял?

Если так, тогда к чему такая головная боль?
Да и потом свой комп нагружать лишний раз...он и так загружен круглые сутки, по 10-15 ночей в месяц отдыхает и все.
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
generasim
да и всетаки наверно 10-15 ночей в год, а не в месяц))
На сайте c 19.02.2012
Сообщений: 121
Quote:
Честно, прочитал первый пост... Наверно я не программист, раз уж не догнал.
Вы хотите сделать так, чтобы пользователи объеденились, и рендерили свои сцены сообща, т.е. на всех свободных компах, будет запущен рендер? Правильно понял?

Если так, тогда к чему такая головная боль?
Да и потом свой комп нагружать лишний раз...он и так загружен круглые сутки, по 10-15 ночей в месяц отдыхает и все.
прямо один за одним рендерите да? и полная загрузка всех ядер? непрерывно? чето не ветится. у вас максимум 20% утилизация ресурсов.
ну вот даже эти 10-15 ночей могут использоваться другими, а они вам дадут свое время.
получается что в среднем время рендера можно сократить в два раза, это у вас такая плотность рендеров. а у других может комп намного больше простаивает.
вообщем выгода очевидна.

можно отдать пот виртуальную машину не все ядра а только одно или два, продолжая работать на оставшихся, памяти тоже не сильно должно жрать, можно поставить урезанную XP 64-x битную на виртуальную машину. рендериться блок изображения, это намного менее затратно для памяти.
может даже в 2 гигабайта можно уложиться все вместе.
На сайте c 07.08.2009
Сообщений: 721
Питер
Quote:
vladlv
vmware? это что за зверь?))
я по сетке только через Backburner рендерил
vmware - это виртуальная машина. только с каой радости ее упомянули - не понимаю.
На сайте c 31.03.2011
Сообщений: 9885
Renderfarm
vladlv
может вы конечно не в курсе, но при рендере участвуют ВСЕ ядра процессора/ов без исключения, количество бакетов равно количеству ядер)

и при рендере, если вы откроете task manager, то загруженность процессора будет 99%
и при этом, что вирею, что менталу абсолютно по барабану насколько сложная сцена)
от сложности сцены зависит только степень использования оперативной памяти и файла подкачки
Читают эту тему: