조선시대에 일부다처제면 결혼 못한 남자는 많았나요?

조선시대는 일부다처제로 양반의 경우에는 부인이 한 명인 경우가 드물었습니다. 그렇다면 결혼못한 남자가 굉장히 많았을텐데 그 남자들은 그대로 늙어가는 것인가요?