Непонять мне зачем такой ход конем, но порендерите два изображения с каустикой и без. Потом в фотошопе по маске вытрите там где она не нужна.
Либо делайте каустику фейком, через проецирование текстуры от ИС, а в нем уже исключайте объекты, на которых эффект не нужен.