1. VrayLight - параметр Subdivs регулирует кол-во сэмплов, от этого напрямую зависит качество тени (та самая зернистость).
2. VrayLightMtl - это просто материал, чтобы он светил и была тень, надо чтобы было включено GI (Global Illumination), без этого работать не будет (в SP3 уже будет и без ГИ светить).
Если есть вопрос по второму варианту, почему когда у тебя в сцене нет источника света, а материал не светит без GI, но все равно плоскость светлая - есть ответ -> Есть дефолтный свет, который есть всегда, но при добавлении любого источника света в сцену он автоматом выключается и на рендер не влияет. Но поскольку у тебя во втором варианте нет источника света, а тока объект с сирейлайт материалом, то дефолтный свет продолжает работать и светит.
Так что если ты включишь ГИ, чтобы посчитать свет и тень от вирейлайт материала, то при рендере будет учитываться и дефолтный свет, и картинка не будет соответствовать ожиданиям. Чтобы этого не происходило, надо дефолтный свет выключать в настройках рендера, настройку я думаю ты сам сможешь найти, это на сложно и весьма очевидно, как в принципе и весь твой вопрос такой же простой и очевидный, надо только головой подумать немного и почитать названия параметров, которые сами за себя о многом говорят.
Почитай тут внимательно, там все про вирей написано -
http://www.spot3d.com/vray/help/150SP1/