Проблема с ЛайтКеш
Лайткеш очень грузит оперативку. Можешь попробовать использовать qmc вместо лайткеша. Также не используй в фреймбуфере родное максовское разрешение: в свитке рендера макса поставь 100х100 пикселей, потому что оно все равно рендерит в максовский фреймбуфер, так то разрешение выставляй только в виреевском фреймбуфере.
Промониторь оперативку после этого, посмотри что сколько жрет, первый ги, а потом второй. Тут надо понять, что именно влияет на ресурсы в первую очередь, может у тебя геометрии слишком много, и можно использовать instance.