Я пробовал увеличить разрешение декали, но это не помогло.
Привет, здесь нужно не разрешение декали увеличивать, а разрешение тектстуры, на которой Вы рисуете. Эти ступеньки образуются из-за того, что на UV данный элемент занимает недостаточно места. Увеличьте разрешение текстуры, по которой рисуете или увеличьте UV shell, на котором находится декаль. Хотя это не совсем декаль, ну до ладно...