슬리퍼 착용시 양말을 착용해야하나요?

슬리퍼를 평상시 많이 신고 다니는데 주위에서 듣기로는 양말을 착용안하고 슬리퍼를 신고 다니면 안좋다고 하던데 정말 맞는말인가요?