근로자가 근무시간동안 핸드폰을 사용한다고 걷어도 되나요?

사무직으로 첫출근을 했지만 회사 사정으로 인하여 운전직으로 근무가 바뀌었고 직종만 변경이되는거라고 하여 사무직일을 계속 하던 중 사무실에서 하던 일 인수인계하고 현장직으로 아예 나가라는 얘기를 들었습니다. 사무원으로 뽑고 현장직으로 나가라는 소리를 들었을때도 썩 기분이 안좋았는데 직원들이 핸드폰 사용을한다고 핸드폰도 걷고 점심시간과 퇴근시간에 돌려준다고 하는데 이래도 되는 건가요?