скорее где-то сами неправильно что-то делаете. что - сказать трудно. вроде всё правильно по описанию, но не понятно почему остаются только стенки. при простом движении точек меша не должно происходить исчезновений плоскостей даже при пересечении граней. а у вас куда-то исчезают )