а стороны колонны и основания в 1 полигон? тогда дисплейсу 1 полигон ломать трудно. добавь теселейтом, например, хотябы на каждый кирпич по полигону. тогда будет более корректное выдавливание.
такая же фигня была - 100 полигонов по высоте помогло.(вертикальные грани тоже нужно добавить)