고려, 조선시대 음서 제도에 대해 불만이 없었나요?

고려와 조선시대에는 관직에 있는 고위직의 자제는 음서 제도라는 특별공채(낙하산)로 과거시험을 안보고도 관직에 오를 수 있었잖아요. 이런 제도에 불만을 품은 이는 없었나요?