Нужно убрать галочку с параметра Glossy effects в свитке V-ray Global switches - в аналогичной ситуации мне очень помогло, при сабдивсе самого материала всего 8.