같은 빌라 남의 집 찾아가는거 불법인가요?

층간소음 문제로 밤 늦게 새벽 1시쯤 같은 빌라 남의 집 찾아가는거 불법인가요? 그냥 벨 누르고 나오면 인사정도만 할 생각입니다 같은 빌라이고 그 집에 들어갈 의사없습니다