Есть еще способы поиграться с настройками, но я не делал это.
https://discourse.mcneel.com/t/question-how-to-utilize-all-16-gb-ram-with-vray/27624 - здесь меняют memory limit со static на dynamic. Вам соответственно надо поставить меньше фактической ram
Либо менять размер swap в системе - https://www.youtube.com/watch?v=DWCVhk5gTps
Еще можно поотключать мусор в автозагрузках, который выжирает оперативную память при работе ПК, ну и браузер закрыть при рендеринге, вдруг у вас там 50 вкладок))