Про корявые косые линии - это настраивается в Sampling Quality:
1. Samples per Pixel - сколько сэмплов (выборок) будет сделано на один пиксель. Т.е. на один пиксель картинки, может приходится довольно большая часть трехмерной сцены (к примеру если с тойже камеры что у вас стоит в интерьере отрендрить картинку 2*2 пикселя, то всего их будет 4, соответственно на 1 пиксель будет приходится 1/4 часть сцены, а это и диван и лампа и т.д.) и для того чтобы менталу правильно определить какого цвета будет этот пиксель, ему надо взять определенное кол-во сэмплов со сцены (грубо говоря оттрассировать несколько лучей), чтобы после вычислить среднее значение, и сопоставить его с соседними.
Обратите внимание на параметры Minimum и Maximum - из названия понятно это пределы того сколько браться сэмплов, т.е. если в минимуме стоит 1/4, а в максимуме 4 - это значит что минимально менталрей будет брать 1 сэмпл на 4 пикселя, а максимально 4 сэмпла на 1 пиксель. Соответственно чтобы поднять качество сглаживания нам надо увеличить максимальный порог, и поставить скажем не 1/4 и 4, а 1/4 и 16 (16 сэмплов на пиксель).
2. Filter - это фильтр, метод которым менталрей сопоставляет между собой полученные значения и сводит их к цвету на пиксель (выбирается некое среднее значение). К примеру ели поставить фильтр Gauss со значениями 3,3 то картинка будет слегка заблюренной, если значения поставить 2,2, то уже бдет более четкая.
Тут надо тетировать и подбирать для себя что по душе.
3. Spatial Contrast - очень важная опция для контроля качества, именно он определяет сколько ментал рей будет делать выборок (Samples per Pixels). Скажем в первом пункте мы задали 1/4 и 16, значит ментал рей может взять 1 сэмпл на 4 пиксела, а может и 16 на 1 пиксель. (когда один сэмпл на несколько пикселей - это инфасэмплинг, а когда несколько сэмплов на 1 пиксель - это суперсэмплинг). Так вот как менталу решить, сколько сэмплов брать? Для этого и есть значения Spatial Contrast, оно определяет пороговый контраст, т.е. на сколько допустима разница между цветами соседних пикселей сэмплов. Ну к примеру, сначала ментал по нашим значениям берет 1 сэмпл на 4 пикселя. И так он взял скажем 2 сэмпла на 8 пикселей (2 блока по 4) и оказалось что разница между уветами получилать очень большой, выше установленного предела, следовательно ему надо брать ещё сэмплы чтобы это устранить. Он берет ещё раз, теперь уже по сэмплу на пиксель, и теперь пусть на пяти пикселях цвета схожие а на трех из них все ещё сильно отличаются, и ментял для этих трех берет делает ещё расчет, теперь уже по 4 сэмпла на пиксель. Теперь уже скажем осталось только 2 пикселя разницей в цвете (выше установлнного предела), и для них ментал считает ещё раз, но теперь уже по 16 сэмплов на пиксель. И так далее до тех пор пока не достигнет верхенго предела кол-ва сэмплов или пока разница в цветах не будет ниже предела.
Соответственно для белой стены может быть достаточно 1 сэмпла на 4 пикселя, а для угла между темным полом и стеной понадобится по 64 семпла на пиксель, чтобы линия была гладкой.
Вобщем чтобы получить линии более качественные, поставте значения 1/4 и 16, и контраст на 0.04 должно хватить.
(контраст можно настраивать по отдельным цветам и отдельно для альфаканала).
Что касается бампа, то он сильно зависит от освещения, если на поверхность светить под углом прямым светом, то рельеф будет заметен сильнее, в вашем случае можно например попробовать увеличить силу бампа на тех местах где он плохо заметен и улучшение антиалайзинга тоже может помочь.
А вобще если рендерите менталом советую купить книгу -
http://www.moscowbooks.ru/book.asp?id=427968
Перевод не лучший, но сносно (просто я привык уже к словам типа шейдер три, а в книге это как дерево затенителей). Вобщем книга полезная (на самом деле даже тем кто и менталом не пользуется), там и про стэндалон и про ментал в максе и в кси и в майке. И очень много сопутствующей информации, про хардварный рендеринг (GPU) и про гамму вам там расскажут, и про буферы и много чего интересного. Если не в Москве то найдите в своем городе, если нет то закажите по интернету.
