Нашел. Помогла галочка "Smooth UVs" Стало меньше, но полностью не исчезло.
Кстати, есть такая особенность. Когда запекаешь с Хай-поли модели на Лоу-поли, возникает такой баг, как клетчатость. Видно на текстуре.

Если модель под сглаживание, её решают тем что сглаживают Лоу-поли несколько раз для запекания, тогда этих чёрных клеток нет. На этой текстуре сглажена модель в 2 итерации

Но эффект не пропадает совсем и при высоких значениях видны полигоны, появляются полосы, которые вылезли из разницы сеток Лоу-поли и Хай-поли во время запекания. Придумали ли сейчас что-то чтобы устранить этот эффект или запекать текстуры на диких уровнях сглаживания?

Некоторые программы для запекания, насколько я помню, имеют параметр Subdivision, которым можно подготовить Лоу-поли для запекания Displacement без сглаживания и сохранения в отдельный файл.