창틀에 물때?는 어떻게 제거하나요?

자꾸 방에 벌레가 들어와서 아예 창문을 꽁꽁 닫고 안열고 살았거든요. 그랬더니 한번 열어봤더니 창틀에 엄청난 벌레떼와 물자국이 있는데요 이거 효과적으로 어떻게 청소하나요?