Iram-an это вроде и не проблема. Сколько ни рендерил - там всегда альязинг. Можно заморочится и отрендерить отдельно этот пасс в большем разрешении (причем быстро, повыключав свет, материалы и прочее), затем уменьшить в редакторе и получить антиальязинг.
Если вам оно надо ради выделения по маске, то проще использовать WireColor пасс, но надо смотреть каких цветов сетка объектов. При необходимости можно перекрасить сетку скриптами рандомизаторами, например:http://www.scriptspot.com/3ds-max/scripts/random-wire-color-1
Или воспользоваться VRayMtlID, но ему нужна ручная настройка в еще большей степени.
Пока попробовала переключиться на vrayObjectid у него есть галка как у мтлайди, для сглаживания. Результат не идеальный, но заметно лучше. Завтра посмотрю в фотошопе что выходит в финале. Если все плохо, попробую Wirecolor, спасибо за подсказку.