Вообще то я сам учусь, да к тому же c V-RAYем не заморачивался пока. Стандартный Mental, как бы, оч не плох. Если снисходим до него, то сразу напрашиваеться 3D Displacement Shader в предварительно разблокированный слот Displacement в mental ray Connection rollout самого материала .
Есть, конечно, модификатор для тех же дел, но, как я понимаю - это крайний случай для не слабых машин.