У меня точно такое-же было и на на GTX 570 1280mb, R9 380X 4GB на GTX 1080 8GB сейчас. На разных Максах, и на Win7 и на Win10, в старой и в актуальной версии Короны. С чем связано ума не приложу. Но происходит раз в несколько дней, и исключительно в тяжелых сценах. Если тяжелые объекты по слоям раскидываю, делаю им Display as Box, работаю с Backface Culling-ом, то эта проблема почти никогда не возникает. А когда там травку рассаживаю, деревья, кучи объектов, сотни сгруппированных объектов дублирую. И туда-сюда по сцене прыгаю и переключаю режимы вьюпорта Wireframe/Performance/Clay - бывает такая же фигня случается. Сначала шлейфы появляются, потом колбасит вьюпорт и через минуту все зависает. Обычно я сразу понимаю что такое произошло и успеваю прожать сохранение сцены. И сам успеваю закрыть Макс и перезапустить его. И это навряд-ли связано с кривыми объектами. Потому что юзаю "Stock Model Fixer + Prune Script". Зато эта проблема научила меня собирать сцену оптимально и облегчать задачу для видеокарты 
Ну там, все те-же Display as Box/Backface Culling/Adaptive Degradation/коллапсить некоторые объекты/непраметрическую геометрию загонять с Poly в Mesh/параметрическую оставлять такой-же (не схлопывать стэк модификаторов). Использовать UVW Clean если не нужны на тяжелом объекте UV-Координаты. Ну и вообще... А как ток тяп-ляп кидаю все вагонами то рано или поздно эта проблема.
P.S. С нагревом видеокарты у меня это никак не связано было. Макс не может нагреть видеокарту нормально, в хорошо охлаждаемом корпусе (если вы только не рендрите на GPU). А у меня и вовсе открытый стенд а не корпус. Там температуры дай бог до 50 доходят, да и то не уверен, может до 40.
