창틀에 붙은 먼지는 어떻게 청소하나요?

창틀에 붙은 먼지를 떼어내려고 하는데요. 그런데 먼지가 잘 안닦이고, 물자국이 남아 깨끗하게 제거가 안되는데 어떤식으로 닦아야 할까요?