Просто дело в том что ВСЕ РАБОТАЛО ЗАМЕЧАТЕЛЬНО, сколько анимировал по локальной оси и даже не задавался такими вопросами, и тут внезапно
В принципе я пробовал по Gimbal, если PivotPoint перпендикулярно по Z повернуть то тогда эта проблема решаема (но это уже лишний, хоть и небольшой, гемор). Но все-равно спасибо.