크롤링을 하려고 합니다

Question

크롤링을 하려고 하는데 어떻게 개발해야할지 감이 잡히지 않습니다.

직접 해본신분이 있다면 도움 부탁드립니다.

Answer 1

크롤링은 기술적으로는 그렇게 어려운 일은 아닙니다.

다만, 귀찮은 일이라고 하는 것이 바른 표현일 것 같은데요..

코드를 모두 적어드릴 수는 없지만 대략적인 방법은

1. 셀레니움이 무엇인지 검색을 해본다

2. 원하는 웹페이지를 통째로 크롤링 해서 변수에 저장한다.

3. 원하는 부분을 split 을 통해서 잘라서 사용한다

사실 이정도만 알면 크롤링은 할 수 있을거라고 생각합니다.

개발자가 아닌 사람에게는 무슨말인지도 모르겠고, 어렵게 느껴지실 수도 있겠지만

개발자라면 답변을 이해하실 수는 있을겁니다.

Answer 2

우선 이런 질문을 하실려면?

어떤 언어를 알고 있는데 그 언어로 어떤 환경에서의 크롤링을 어떻게 해야 하나요? 라고 물어보시는게

맞는것 같네요^^

일단 위 질문에 간단히 답하자면,

사람이 하는 행동을 있는 그대로 프로그래밍을 하면 됩니다

예를 들어

1. 네이버에 "맛집" 을 검색한다

2. 블로그 탭을 클릭한다

3. 해당페이지의 1등에서 10등까지 결과를 가져온다

4. 다음페이지가 있는가?있다면 다음페이지를 클릭한후 3번항으로 가서 또 처리를 한다

5. 다음페이지가 없다면?프로그램을 종료한다

이게 크롤링을 하기 위한 기본 스토리 구성을 한겁니다

이제 위 내용을 자신이 잘 아는 언어를 이용해서 개발하시면 됩니다^^