계약 관계였던 회사로 이직 시 전회사에서 소송이 가능할 까요?

안녕하세요.

SI 회사에 다니고 있는데 이번에 계약이 끝나가는 외주 업체로 이직을 생각하고 있습니다.

회사에 퇴사를 얘기를 했더니 계약 관계에 있었던 회사로 이직을 하면 소송을 당할 수 있다고 얘기를 합니다.

겸업금지 서약서의 따르면 회사에 보호해야할 가치가 있는 기술력을 이직하는 회사에서 사용했을 때인데

지금 회사는 소규모 회사고 특허 기술력이 있다고는 하지만 그 특허는 제가 입사 전에 받은 특허고 제가 알지도 못하는 기술 력입니다.

계속해서 퇴사 얘기를 미루면서 소송 얘기만 하는데 계약 관계에 있었던 회사로 이직을 하면 소송이 들어올까요?