тупо поставь ДОФпро в фотошоп и делай доф в фотошопе-тыща проблем исчезнут.во фреймбуфере поставь галочку для z-depth и используй в дофпро.дофпро найдёшь на торрентах.
nailgun, лензблюр с краями так не работет как доф про.
У постового дофа всегда была проблема с краями и антиалиазом, доф про довольно хорошо делает. Еще неплохо может frischluft lenscare, нюковский тоже ниче.
Самый крутой на сегдняшний день это Bokeh -http://peregrinelabs.com/bokeh/
и то потому что он работает дип имейджами, но пока только прмановскими.
А рендерить несклько Z каналов нет смысла, т.к. его считаешь в 32бита и потом двигай диапазон как хочешь, сжимай, разжимай, смещай и т.д.