조선시대에 서자가 있으면 양자를 못들였나요?

조선시대에 서자와 얼자는 첩년의 아들이라는 식으로 대놓고 멸시를 당할 정도였지만 이런 서자와 얼자라도 있으면 원칙적으로 대를 이을 양자를 들이는것이 불가능했던것이 맞나요?