Сбивать трекинг могут 2 вещи:
1. Ленс дисторшн (бульбашка).
2. Движущиеся объекты в кадре.
Судя по картинке у тебя и то и другое.
Тоесть трекинг практически всегда делается по схеме -
выравниваем ленс дисторшн (желательно в том софте, где потом будешь композить, рекомендую Нюк), делаем трекинг камеры по выровняному материалу, переносим камеру и поинтклауд в 3д софт, рендерим, собираем в Нюке, применяем обратный ленс дисторшн на собраный кадр, что бы вернуть материал в прежний вид.
Движущиеся объекты при трекинге просто масками убираем. https://www.youtube.com/watch?v=ZECRPfhIu5I мой древний урок по этому поводу (но там вроде нет про ленс дисторшн).