Какое разрешение картинки? Дисплейсмент зависит от разрешения. Меняли edge length в дисплейсменте в большую сторону? 4px дефолтных - это очень навороченная детализация, можно 10-12 поставить. Можно другие типы дисплейсмента попереключать в модификаторе, надеюсь через VrayDisplacementMod работа идёт? Можно попробовать переключить из static в dynamic, рендер замедлится, но память будет кушаться под каждый бакет по мере выполнения.
И еще, большую битмапу надо преобразовать в тайловый EXR и загрузить через VrayHDRI, можно сэкономить. Ну и галочка conserve memory есть, не знаю, правда, реальный эффект какой от неё.