현재 아마존 물품 데이터나 여러가지 상품에 데이터를 수집해야 하는데 파이썬으로 크롤링을 하려고 합니다. 파이썬에 라이브러리가 너무 많아서 어떠한 라이브러리가 적절한지 찾기 어려워 질문을 남겨봅니다.
파이썬으로 크롤링 할때 가장 유명한 라이브러리는 Beautiful Soup으로 알고 있습니다.
많은 책이나 강의에서 Beautiful Soup를 이용해서 실습을 하는 것으로 알고 있습니다.
속도는 잘모르겠지만 사용방법이 쉽기 때문에 초보자들도 쉽게 다룰수가 있습니다.
ajax 같은 비동기 통신으로 데이터를 가져오는 사이트의 경우 다른 방법으로 크롤링 해야할 수 있습니다.
안녕하세요, 관련 작업 경험이 있어 공유차 답변남깁니다.
저는 파이썬으로 크롤링을 진행할 때 주로 Beautifulsoup 패키지를 활용합니다. 크롤링 패키지 중에서 많은 사람들이 사용하고 안정성도 좋은 편이라고 생각해서 추천드립니다. 해당 다큐멘테이션 주소 남깁니다.
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
원하시는 작업 하는데 도움이 되었으면 좋겠습니다.
감사합니다.
