창문틈 깔끔하게 어떻게 청소하면 좋을까요?

창문틈을 청소 안한지 오래되어 정말 새까맣게 변했네요. 그냥 휴지나 걸레로 쓱쓱 닦아내기엔 찝찝하고 아파트라 물청소를 할 수도 없는데 어떻게 청소하면 좋을지 궁금합니다.