Вас скорее всего попросят показать настройки рендера и скажут, что шалит Irradiance Map.
Я скажу от себя просто свои наблюдения и они может быть будут для Вас полезны, если вы работаете в версии Вирей 3.1-2 ( это же вирей, верно?)
Сейчас, даже если я пользуюсь методом Brute Force, то при включенной кнопке Store Direct Light вылезают эти светляки, в месте тесного соприкосновения обьектов, особенно на ткани, там вообще кошмар. Я выключаю эту функцию и всё, всё хорошо.
В версии постарше такого не было при включении этой функции и здорово сокращало время просчёта. Тут, как говорится, вибираете сами...