섬유유연제 없이 세탁을 하면 안 좋을까요?

제가 평소에 세탁을 할 때 섬유 유연제를 항상 넣었었는데요 그런데 향이 너무 강하고 저는 별로 안 좋을 것 같아서 빼고 하려고 하는데 안 좋을까요?