인터넷에서 끊임 없이 생겨나는 새로운 정보들 사이에서 원하는 정보를 자동으로 모으는 의미인 것 같은데.. 어떤 기술이 사용되는 지 궁금합니다. 그리고 어떤 기술적 문제점과 보완이 필요할 까요? 고수님들 답변 부탁드립니다.
크롤링은 정보를 원하는대로 긁는 것은 맞습니다.
어떤 기술이냐면 그냥 웹 기술입니다.
파이썬이나 node 같은 여러 언어들이 크롤링 기술을 지원합니다.
하지만 크롤링을 당하는 입장에서는 서버 자원이 낭비 되기 때문에
크롤링이라고 판단되면 해당 클라이언트를 차단하고 있습니다.
