3drman, вот скрин из Нюка, чтобы вы понимали о чем я говорил, и поняли логику работы.

В вашем случае как работает маска:
1. Она создает чернобелую картинку, в том месте где вы выделили, она белая, а снаружи - черная.
2. Эта маска умножается на ваше исходное изображение, и при умножении все что снаружи становится черным (умножение на 0), а то что внутри остется без изменения (умножение на 1).
Собственно на картинке видно, что я сделал 3 разных маски, всех их сначала объединил в одну в режиме "максимум", а потом это умножил на свое изображение. Можно маски добавлять, менять, убирать старые, даже проще чем выстраивать их цепочкой, то уже кому как.
Но логика я думаю ясна.