Так, объясню как можно проще.
1) Вирей использует ровно столько, сколько ему нужно и ни байтом больше. Думаю, это очевидно. Если юзает 3-4Гб - значит именно столько и нужно
2)Дефолт джеометри у вас установлен в режим авто, значит БСП дерево строится где-то в режиме статик, где-то в динамике. Это значит что полноценно сцена всю память не займёт.
3) Что-бы по максимуму использовать память, и сократить рендертайм, дефолт джеометри нужно перевести в режим статик, а face/level coef подобрать так, чтобы в вирей логе значение параметра average face/leaf было примерно 4 (обычно мне хватает значения face/level coef 0.1
4) На будущее: динамик мемори лимит не приказывает использовать вирею память. Это лимит, который вирей может взять из оперативки для объектов, геометрия которых всегда просчитывается налету во время рендера - дисплейс, фур и т.п. Поэтому 1)его никогда не нужно ставить столько же сколько оперативки 2)он работает только когда в сцене есть вышеперечисленные объекты.