층간소음 윗집 방문시 주거침입으로 처벌 받나요?

윗집의 층간소음으로 고통 받고 있습니다. 평일은 물론이고 주말에는 집에 있을 수 없을 정도로 층간소음이 심합니다. 경비실을 통해 2차례 전달했으나 그때 뿐이고 오히려 더 심해진 상황입니다. 윗집에 찾아가서 항의하면 (욕설이나 폭력적인 행동은 하지않을겁니다.) 윗집 앞에 가는것만으로도 주거침입으로 처벌 받는다는 기사를 많이 봐서요. 실제로도 처벌 받나요? 집에 강제로 쳐들어간다거나 하지 않아도요?