кинуть AO в качестве маски в карту mix, нажать галку, которая подрезает верха и низы значений, низ можно не резать, только отрегулировать подрезку значений для верхов 0,75-0,85 примерно так.
Всего один раз сталкивался с подобным. Решил задачу немного геморно, но тем не менее - я рассудил так: проблема проявляется на гранях. Значит, надо увеличить плотность граней, чтоб эффект AO стал более равномерным. Накинул кучу итераций сглаживания на объект, насколько позволил компьютер, а потом запёк результат AO. После уже накидывал запечёный AO на обычный объект - без кучи итераций.
Но, повторюсь, сталкивался лишь раз и не сильно долго голову ломал - наверняка есть способ проще.