적성에 맞지 않는 직장을 계속 다녀야 할까요?

직장이 저의 적성과 너무나 맞지 않는다면 어떻게 해야 할까요? 업무에 대한 만족도도 떨어지고 하지만 다른 분야로 이직을 하자니 두려움이 앞섭니다.