robots.txt대로 하지 않아도 상관 없나요?

Question

안녕하세요. robots.txt는 봇이 색인하기 위해서는 꼭 필요한 존재인데요. 가끔 robots.txt와는 다르게 규정을 적용하는 곳이 있더라고요. 예를 들자면 모든 봇이 가능하게 되어 있지만, 실제로는 수집이 불가능하게끔 만들어 놓거나 차단하더라고요. 결론적으로 robots.txt에 맞지 않는 정책을 해도 상관 없는 건가요?

Answer 1

안녕하세요.

아무래도 꼭 이게 필요한 존재여도 대체하는게 있습니다.

대체하는거로 해서 그런걸거에요.

상관이 없지만, 대게 정책을 비슷할것이라고 보여지세요.

답변 도움되었기를 바래요!