근로계약서를 안 써주는 기업, 퇴직금 받는데 불이익이 있나요?

현재 4년차 직장인입니다.

처음에 회사를 다닐 때 근로 계약서를 쓰지 않았고 현재까지 연봉협상을 할 때에도
한 번도 먼저 계약서를 쓰자는 얘기를 꺼낸적이 없어 계약서 없이 직장을 다녔습니다.

이제 회사를 떠나야겠다는 생각이 들어서 퇴직을 준비하려고 하는데
근로계약서를 작성하지 않으면 퇴직금을 받지 못할 수도 있다는 얘기를 어렴풋이 들었습니다.

퇴직금을 받으려면 근로계약서를 처음 입사할 때부터
연봉협상 했던 시기의 계약서가 모두 작성하고 퇴직해야할까요?