Имхо удобнее всего psd - маски на разные каналы запихиваются в разные слои и всё. Очень удобно и никакого бардака в папке с текстурами.
psd по объёму накажет все остальные форматы ))
Кроме этого макс не умеет сохранять в ПСД без внешнего плагина и ещё у ПСД винда не показывает эскизы. ТИФФ в этом плане лучше, у него есть разные компрессии и эскизы в проводнике видно. Хотя макс всё равно многослойный ТИФФ не делает.
ТС имел ввиду входные текстуры растрового формата, для материалов. А вы ему про рендер:) Тут кто то говорил про текстуры одинакового соотношения + добавлю, если это будут числа 512,1024,2048,4096 то считаться они будут еще быстрее.