이휘재, 가족과 돌연 캐나다行…“비난 여론, 상실감에 괴로워해”