층간 소음은 항의하면 안 되나요

저희 집 아파트 위에 층에서 층간 소음이 엄청 심한 편인데요 특히 저녁 9시 나 10시 정도만 되면 그때 퇴근을 하는지 엄청 쿵쿵거려요 혹시 항의하러 위층에 가면 안 되는 건가요?