Вкратце - рендер с любой маской это когда 1 пиксель рендерится, а соседний уже нет. Нельзя поренедерить чуть-чуть. Либо 0 либо 1. А края объектов на изображении состоят из средних значений, смешиваются цвета. Поэтому любой рендер маской не будет совпадать с краями объекта. Когда разница в цветах не сильная, этого просто не заметно, поэтому маской обычно рендерят поверх старого, но лучше перендерить всё.