조선에서 서자가 집안을 이으면 격이 떨어졌나요?

조선시대에 적자가 없어서 서자가 집안을 잇게되면 집안의 격이 떨어져서 양반집안에서 중인집안으로 격하되었나요? 서자와 그 후손은 절대로 과거를 볼 수 없었나요?