16 гигов памяти маловато для сцены полсотни миллионов поликов. Тем более проксей на скриншоте не видно. Бедный комп ((( Откройте TaskManager и смотрите за потреблением памяти.
Оптимизируйте сцену: используйте instance где можно и proxy, где совсем тяжело. Use Embree и Use for glossy rays включите, будет побыстрей считать. И купите ещё 16 гигов оперативы.