вкладка vray---image sampler (AA). В зависимости от выборы bucket/progressive меняется пониже соответствующая вкладка. bucket image sampler или progressive image sampler. вот там увеличиваешь сабдивы, уменьшаешь порог шума
есть расчет первичных отскоков anti-aliasing. И расчет вторичных отскоков - рефлект, рефракт итд. Большую часть настроек вторичных отскоков давно уже спрятали, объясняя это тем, что их по дефолту поставили в оптимальных настройках, нечего их менять, а если хотите, то через максскрипт
Я долго копал по этой теме, смотрел туторы, читал статьи, рылся на форумах. Но сейчас вынужден признать одну вещь. Как бы ты не умел оптимизировать сцену, без мощного железа далеко не пойдешь