섬유유연제를 많이 쓰면 안좋은가요?

저는 섬유유연제를 사용하면 향이 좋아서 조금 많이부어주는 편인데 주위에서 옷감이 상한다고 하더라구요, 왜 섬유유연제가 옷을 망치는지 궁금합니다