월세를 계약할 때 냈던 계약금은 계약을 파기하면 돌려받지 못하는 것인가요?

월세로 계약할 때 보면 계약을 할 때 계약금 명목으로 소액의 돈을 지불하잖아요 혹시나 마음이 바뀌어서 월세 계약을 파기할 때는 냈던 계약금은 다시 돌려받을 순 없는 건가요?