때를 미는 게 피부에 좋지 않다고 하던데 진짠가요

샤워만 하다보면 수건 닦을 때 간혹 때가 밀리잖아요~ 때를 미는 게 피부에 자극이 되어 좋지 않다고 하던데 사실인가요? 나오는 때는 그냥 붙여둬야하나요?