Скрыть лишние объекты сцены.

Кхм... думаете разработчики софта такие глупые и не задумываются об оптимизации. Все что в камеру не попадает - можно считать что не участвует в просчете.

Если по сути можно сделать врейсферой или скриптом - поколдовать с колбеками - будет прятать.