집주인 실 거주로 인한 전세 계약 갱신 거절 후 집주인은 주소 꼭 옮겨야 하나요?

사정이 생겨서 전세 둔 집을 실 거주 및 개인적인 업무로 사용을 하게 되어서 전세 갱신 거절을 하게 되었습니다.
현재 거주지랑 가까워서 왕래가 자주 있을 것 같고 사업장 주소나 여러 서류가 복잡해서 주소는 이전을 안 하고 유지를 하려고 하는데 집에 가구도 있을 거고 실제 거주도 할 거지만 서류로는 공실이 되는데 문제 소지가 생기나요? (ex 전 임차인의 손해 배상 청구)