경찰의 임의적 동행을 요구하면 응해야 하나요?

경찰이 주민등록증이 없다고 경찰서로 가시죠라고 이야기한다면 꼭 따라가야하는 건가요?, 즉 임의동행을 요구하게 된다면 거절을 해도 상관없는 건가요?