Включите кэширование!
В рам заседают системные, временные данные или просто кэш других программ, у вас может и хватит память для рендера но холодной или ненужной информаций некуда деваться, винда кэширует холодные данные и освобождается рам для активных программ, во время рендера следите за % нагрузки диска это подскажет если данные для рендера не помещаются в рам.