CShading Alpha работает только с полным рендером сцены. Если без рендера сцены, можно в настройках материала поставить AlphaMode - Always Black? тогда всё будет белым а объект чёрным, то есть инвертированная маска. Если объектов много, можно попробовать накинуть Owerride material
тогда всё будет белым а объект чёрным, то есть инвертированная маска.
А с прозрачными и полупрозрачными объектами как быть? Это собсно сама соль вопроса и была. Маски-то рендерятся, там можно накрутить всякого. Вопрос именно в альфе.
Ещё один бесячий момент: как поменять цвет ребёр на обратной стороне полигона? Дефолтный тёмно-серый очень неудачный какой-то, в виде сверху рёбра с гридом сливаются.