조선시대에 사대부는 아무리 경제적으로 궁핍해도 농사같은 일을 할 수 없었나요?

조선에서 기득권층이던 사대부들도 집안에 따라 몰락하기도 했는데 몰락해서 경제적으로 궁핍해도 직접 농사같은 일을 할 수는 없었나요?