один из вариантов - рендерить через бэкбурнер (или bat файл).
Отправить задание на бэкбурнер, закрыть макс, запустить рендер бэкбурнера. Вэтом случае намного меньше памяти потребляется, так как макс не загружает геометрию для вьюпортов и редактирования.
кстати, а сцену чистили от мусора скриптом?