섬유유연제는 수건같은거 빨 때 넣으면 인되나요?

사람 몸에 직접 닿는 것을 세탁할 땐는 섬유유연제를 넣으면 안좋다는 말을 들었습니다. 이게 맞는 것인지요? 저는 항상 섬유 유연제를 사용하고 있어서요.