Повышайте разрешение картинки, с большой вероятностью проблемы исчезнут. Скорее всего, дело в детализации Irradiance map, которая намного ниже детализации геометрии. Это проявляется в том, что на деталях с однородным, но мелким рельефом (вроде молдингов) появляются заметные неоднородности. А так как финальное разрешение будет явно больше, чем 640x480, есть смысл вместо накручивания настроек GI просто повысить разрешение картинки до желаемого или даже больше.
Если не поможет, вычисляйте, в чем именно проблема. Выведите GI отдельным рендер-элементом, поочередно приравняйте нулю первичный и вторичный отскоки, наложите на проблемный объект модификатор Smooth без галочки Autho Smooth, отключите Environment и т. д.
Еще одна возможная причина - некорректно настроенный свет. Я не вижу источника света. Если он, скажем, невидимый, но расположен рядом с сильно отражающими свет объектами, возможны приличные искажения как ИМ, так и ЛК.
