웹 크롤링에 대해 알고싶습니다.
개인적으로 사용할 프로그램을 만드려고 합니다.
사용 언어는 JAVA입니다.
동적으로 실행되는 웹 사이트를 스크래핑해서 html을 수집해야 합니다.
Jsoup는 정적인 웹만 가능하다는 점을 알고 있고,
Selenium은 속도가 너무 느립니다. Selenium 이외에도 사용 가능한 방법이 있는지 알고싶습니다.
55글자 더 채워주세요.
1개의 답변이 있어요!
안녕하세요.
동적으로 실행되는 웹 사이트는 selenium 이 현재는 가장 나은 듯 합니다. 새로운 라이브러리가 나오더라도 비슷한 구조로 크롤링을 해야 할 것으로 보입니다.
속도가 느리다면 크롤링 할 화면을 나누어서 브라우저 탭으로 나누어서 하거나, 서버를 여러 대 돌리거나 하는 방안을 검토하시면 좋을 듯 합니다.
