집주인이 문을 따고 그냥 들어온 경우?

주택에 살고 있고 1층에는 집 주인 2층은 저희가 살고 있고 문은 각각 따로인데 집 주인이 연락도 없이 집 앞에서 초인종을 눌렀고 집엔 다른 가족 없이 저 뿐이어서 문을 열지 않고 가만히 있었는데 갑자기 "좀 올라갈게요"라고 외치더니 바로 문을 따고 올라왔어요. 이 모든 일이 3분도 안걸렸구요, 온다고 미리 연락도 없었는데 바로 문을 따고 들어왔고 마음대로 들어오시면 어떻게 하냐 했더니 집주인이 자기 집도 못들어오냐는 말이 돌아왔는데 이게 법적으로 전혀 문제가 없나요?