파이썬 웹크롤링 하는데 자바스크립트 사용

Question

파이썬 패키지인 requests랑 BeautifulSoup을 이용해서 하고 있는데,

꼭 브라우저상에서 콘솔창에 값을 입력해야만 나오는 값(해당페이지에서 만들어진 자바스크립트 변수,객체 값)을 크롤링 해오고 싶은데 방법이 없을까요?

Answer 1

ajax로 값을 불러오는 경우인것 같습니다.

그런경우 크롬의 개발자 도구를 사용해서 호출하는 api를 분석해보는 것이 어떠할까 합니다.

인증 부분이 있다면 api분석보다는 셀레니움 같은 도구를 사용해서 크롤링을 해야하는 것으로 알고 있습니다.

셀레니움을 한번 찾아보는 것이 어떠할까 합니다.