Как сделать такой рендер стекла?

Эффект называется дисперсия

VRay в мате abbe number

Как в других рендерах, я не знаю.

Может попробуй так. Создай мат стекла заходишь сюда  (см. скрин) найди подходящую радужную картинку загрузи её и параметром distance регулируй как тебе нужно.

Да забыл у стекла должна быть толщина