затраты оперативной памяти для просчета сцены
Max tree depth увеличить: 80-100
Face/level coef уменьшить: 1.0 или ещё меньше
Render region division увеличить 128-256
Light cache > sample size уменьшать можно и субдивов накрутить. (Если цель -- выжрать память)
Пробовали уже?