주택옆 쌀공장(정미소) 소음 관련 문의입니다.(주거지역)

지방 군 에서 2년된 신축빌라에 살고잇는데요
옆에 쌀공장(정미소)이잇는데 하루에 몇시간씩
쌀겨를 실어내는 작업을하는데 그때 차를 대는데
공장문을 열고 차를대서 작업을 하는데요
건물이 웅~~ 심하게 울려서 너무 괴롭네요
군청에 문의해보니 방법이없다는 식으로 얘기하고
원래는 주말에도 계속 그래서 주중에만 하는걸로 하긴햇는데
아침 9시부터 계속해서 이거대로도 너무 힘들어요
이거 어떻게 제재할방법없을까요.. 상식적으로 생각해도 공장문을 열고 작업을하니
소음이 발생하는거같은데 군청에서는 어쩔수없다고만하니 답답합니다..

그리고 쌀공장(정미소)이나 빌라나 둘다 주거지역입니다.

군청에서 민원을 몇번 넣엇는데 방음벽세웟다는둥
해결은안되고 의미없는 얘기만 반복되네요.
(방음벽자체가 기존에 공장하고 빌라 사이 벽을 보강한거라 의미가 없음)

신축빌라다 보니 집을사기러 하신분도 시끄럽다고 하고 있어서 실질적으로 계약 엎어질까봐.

걱정입이네요 민원을 넣어도 조치가 안될시에 어떻게 해야될까요?
쌀공장 주인이 군에서 유지라고 하더라구요 조언부탁드립니다.