чтобы при увеличении яркости не превращался в белый - сделайте максимально насыщенный цвет - saturation 255
а если самосветящийся мат то поставьте галку "multiply color by opacity" так же попробуйте включить у самосветящегося мата галочку "dirrect illumination"
Может это быть связано, что рендер делаю не через камеру?
это тоже влияет. вас в первую очередь необходимо настроить общее освещение, а потом играться с подсветкой. Единственный нюанс - общее освещение чуток менее ярким должно быть, чтобы подсветка вылезла.