ViTcore по идее А-В и результат загнать в маску слоя (но в фотошопе работать в 32 bit цвете то ещё развлечение)) и для получения нужной маски тут без "световой арифметики" точно не обойтись.
__________________________________________________
с наложением в линейке вот файл примера


________________________________________
unitedbmx "полноценно" добавлять прозрачные слои освещения получится последовательно. т.е. врубили слой со светом, сделали разницу, загнали в маску, дальше делаете разницу на следующий источник света. если вырубить нижний, получится кака.

________________________________________
аааа. шайтан. я думаю чё так маска-то в шопе неточная из разницы получается... а она 8 bit (((