웹 크롤링에 대해 알고싶습니다.

Question

개인적으로 사용할 프로그램을 만드려고 합니다.

사용 언어는 JAVA입니다.

동적으로 실행되는 웹 사이트를 스크래핑해서 html을 수집해야 합니다.

Jsoup는 정적인 웹만 가능하다는 점을 알고 있고,

Selenium은 속도가 너무 느립니다. Selenium 이외에도 사용 가능한 방법이 있는지 알고싶습니다.

Answer 1

안녕하세요.

동적으로 실행되는 웹 사이트는 selenium 이 현재는 가장 나은 듯 합니다. 새로운 라이브러리가 나오더라도 비슷한 구조로 크롤링을 해야 할 것으로 보입니다.

속도가 느리다면 크롤링 할 화면을 나누어서 브라우저 탭으로 나누어서 하거나, 서버를 여러 대 돌리거나 하는 방안을 검토하시면 좋을 듯 합니다.