Не знаю, как в реалфлоу, но обычно в симуляциях за качество отвечают подшаги (substeps), обычно можно регулировать качество просчёта как симуляции в целом, так и коллизий отдельно. Вот нужно искать эти параметры в реалфлоу и крутить. Либо сабстепы коллизии, либо всей симуляции. Чем больше сабстепов (по сути, количество просчётов в каждом кадре), тем медленней просчёт и выше качество.
Дрожание в Вашем примере похоже на недостаточное качество просчёта коллизий.
