A회사(4대보험가입장) 를 다니다가 잠시 휴직을 내고, B회사(4대보험가입장)에 잠시 4개월 일을 보고서 퇴사후 A회사에 복귀를 했습니다. A회사에서 연말정산을 했는데요. B회사 쪽 연말정산을 못했을시 5월달에 종합소득신고때 신고해도 무관하나요?