청약저축 담보대출을 받고 대출금을 전부 상환하지 않은 상태에서 해지가 가능한가요??

청약저축 담보(현재까지 납입한 전체의 40% 정도 금액, 약 400만원)로 소액대출을 받았는데

개인적인 사정으로 해지를 해야할 것 같습니다.

담보 포기하면 대출금은 안 갚아도 될거 같은데

제가 감수해야 할 불이익 같은 게 따로 있나요???