Две масочки. Одна для краёв и одна чуть меньше неё по внешней линии для внутреннего узора.
Мат со второй поверх мата с первой и будут вам края. Простой способ их сделать из одной - в фотошопе орудуя инструментами блёр и левелс.
но на рефе все же немного не то, там за счет рельефа играет, но попробуйте.