Поставь другие настройки, совсем другие, все другое.
Можно начать просто с high.
2 параметра:
Anti-aliasing и Anti-aliasing Filter.
А какой фильтр лучше использовать и параметру size какое лучше значение поставить?
У меня по умолчанию стоит VRayLanczos с дефолтным значением 2. Если надо чуть резче - то его же выставить 1.8, а если мягче - 2.2
Без причин не меняю.
Картинку пошарпить можно и после рендера.