Конечно рассыпется, объект же не цельный, приаттаченный просто, скорее. Вы просто не знаете алгоритм создания такого пледа. Сначала нужно просимулировать полотно отдельно, уложить. А потом только к этому полотну скинврапом присоединить сложную геометрию.