Решил все работающие способы собрать в один пост для удобства, может у кого то еще такой же вопрос возникнет.
Исходная картинка, Turbosmooth с Isoline Display, вирей, карта VrayEdgesTex:
1 способ (спасибо grafner и VladimirG) - на модель с Turbosmooth с Isoline Display накидываем модификатор Edit Poly выделяем все ребра, далее Create Shape - Linear, удаляем модификатор Edit Poly и уже в получившемся сплайновом объекте настраиваем толщину линии (если модель сложная то подбирать толщину лучше на небольшом отдетатченом куске сплайна, а для основного сплайнового объекта включить только чекбокс Enable in Renderer).
Плюсы - настраиваемая толщина линий, линии четкие и аккуратные.
Минусы - разве что для предметки подойдет, много объектов в сцене замахаешся так подготавливать, да и ресурсы этот способ сильно жрёт, ну и толщина линий будет зависеть от расстояния до камеры.
Результат:
2 способ (спасибо sdrEga и ygoryan) - тут сначала рендер сглаженной модели без линий, потом рендер с картой VrayEdgesTex (в самом материале Diffuse полностью белый, в VrayEdgesTex: Color - черный, Pixel width - 0,3), в настройках рендера Image filter - Filter - VrayLanczosFiltr и Size -2, отсюда нужен рендер элемент VrayDiffuseFilter (белая модель без теней и прочего с черными линиями). Потом в фотошопе на первый рендер кидаем получившийся VrayDiffuseFilter с режимом смешивания мультиплай (так как линия получается достаточно тонкой то может понадобится сдублировать слой с VrayDiffuseFilter несколько раз что б линия стала четче)
Плюсы - разрывы почти не видны, результат быстрее чем при первом способе, нет ограничений по весу геометрии.
Минусы - кое где разрывы все таки остаются, и могут исчезнуть некоторые близко стоящие грани, нельзя изменить толщину линий.
Результат:
3 способ (спасибо alexfmos) - (сразу замечу что корректно способ сработал только в 2017-м максе, в 2016 линии были без сглаживания, но может это только у меня такой косяк) накидываем на модель VrayMtl с белым Diffuse (по идее можно любой другой материал использовать, хоть короновский, хоть менталавский, но это не проверял), для самой модели устанавливаем Object color - черный. Меняем редер на Quicksilver Hardware Renderer, у него в настройках Rendering Level - Consistent Colors, Illuminate with - Default Lights, отключаем все чекбоксы кроме Edgeded Faces. Рендерим и получаем аналог VrayDiffuseFilter из предыдущего способа, но с более четкими линиями. Также в фотошопе кидаем на чистый рендер установив смешивание мультиплай.
Плюсы - как по мне самый быстрый способ, линии без разрывов, ничего не пропадает.
Минусы - нельзя регулировать толщину линии (была идея что можно управлять толщиной изменив отображение линии во вьюпорте, но такой функции не нашел, можно только размер вертексов менять, может есть какой то сторонний скрипт для этого).
Результат:
