창틀에 먼지가 굳어 있는데 어떻게 청소를 해야 할까요?

베란다 창틀에 먼지가 많이 쌓여서 완전히 딱딱하게 굳어 버렸는데, 어떻게 청소를 해야 효과적으로 먼지를 제거할 수 있는지 좋은 방법이 있으면 알려 주세요.