아하
검색 이미지
생활꿀팁 이미지
생활꿀팁생활
생활꿀팁 이미지
생활꿀팁생활
멋쩍은비단벌레33
멋쩍은비단벌레3321.05.13

웹 크롤링에 대해 알고싶습니다.

개인적으로 사용할 프로그램을 만드려고 합니다.

사용 언어는 JAVA입니다.

동적으로 실행되는 웹 사이트를 스크래핑해서 html을 수집해야 합니다.

Jsoup는 정적인 웹만 가능하다는 점을 알고 있고,

Selenium은 속도가 너무 느립니다. Selenium 이외에도 사용 가능한 방법이 있는지 알고싶습니다.

55글자 더 채워주세요.
답변의 개수
1개의 답변이 있어요!
  • 탈퇴한 사용자
    탈퇴한 사용자21.05.14

    안녕하세요.

    동적으로 실행되는 웹 사이트는 selenium 이 현재는 가장 나은 듯 합니다. 새로운 라이브러리가 나오더라도 비슷한 구조로 크롤링을 해야 할 것으로 보입니다.

    속도가 느리다면 크롤링 할 화면을 나누어서 브라우저 탭으로 나누어서 하거나, 서버를 여러 대 돌리거나 하는 방안을 검토하시면 좋을 듯 합니다.