CShading Alpha работает только с полным рендером сцены. Если без рендера сцены, можно в настройках материала поставить AlphaMode - Always Black? тогда всё будет белым а объект чёрным, то есть инвертированная маска. Если объектов много, можно попробовать накинуть Owerride material
тогда всё будет белым а объект чёрным, то есть инвертированная маска.
А с прозрачными и полупрозрачными объектами как быть? Это собсно сама соль вопроса и была. Маски-то рендерятся, там можно накрутить всякого. Вопрос именно в альфе.