잔금미납부 매수인에게 어떻게 대응해야 할까요?

주택(건축준공 후 30년 이상 경과된 상속주택)이 공실상태였는데 지난해 매수인이 나타나 매도인인 저와 부동산매매계약을 체결하였습니다. 매매계약서 특약에 모든 하자를 알고 계약함.이라고 되어 있는데 매수인이 중도금 지급 이후 여러가지 주택의 하자보수비용을 제게 요구하면서 그 동안 줄기차게 저에게 하자보수를 해 주지 않으면 본인(매수인)이 공사를 중단할 수 밖에 없으니 하자보수(보일러시설 신규 교체, 옥상 방수 등)를 해결해 주지 않으면 잔금은 줄 수 없다고 주장하였습니다. 계약체결 전 매수인이 현장에 여러차례 와서 집 상태를 확인했고 중개사도 하자부분(매수인이 주장하는 하자부분)을 다 설명하고 계약 당일 중개대상물 설명서에 매도인과 매수인이 다 서명을 했는데도 불구하고 매수인은 자기는 설명을 듣지도 못했고 모르는 일이라고 주장하고 있습니다.

결국 매수인은 잔금지급일에 잔금을 지급하지 않았습니다. 매수인은 중개사에게 공사가 다 끝나고 입주일에 맞춰서 그 때 잔금을 결정하겠다고 얘기했다고 합니다. 제가 매수인에게 공사가 언제 끝나는지 문자를 보냈으나 답변도 없는 상태입니다. 더 당황스러운 건 중도금 지급 이후 저는 매수인이 주택 내부 공사 등을 하도록 허락을 해 주었는데 매수인이 현재 현관 비밀번호도 바꾼 상태입니다.

어떻게 대응해야 할까요?