페이스북 크롤링 (파이썬) 질문
다음과 같은 과제를 하고싶습니다. 페이스북 API를 이용해서 할 수 있을 것 같은데 가능할지를 모르겠습니다 (API수집을 안해봐서요).. 어떻게하면 될까요 ?? ㅠㅠ 참고할 만한 링크를 첨부해주셔도 감사하겠습니다 (영어,한국어 모두 괜찮습니다)
같은 학교를 다니는 사람들 리스트를 모으기 (e.g., 프로필에 '경희대학교 재학중'이라고 등록한 사람들의 고유ID수집)
1단계에서 모은 사람들에 대한 프로필 정보 수집 (e.g., 성별, 근무회사, 출신지역, 거주지역, 출신학교 등등)
(추출한 정보 예시) 페이스북 프로필에 '경희대학교 재학중'이라고 등록해둔 김철수씨는 남자/총학생회 근무중/부산출신/서울거주/해운대고등학교 졸업, 김영희씨는 여자/경영학부학생회 근무중/울산출신/서울거주/울산여자고등학교 졸업
(참고)_https://github.com/harismuneer/Ultimate-Facebook-Scraper 깃허브에서 찾은 링크인데, 여기서 제공하는 코드로 위에 제가 말한 과제를 할수있는건가요 ??
2개의 답변이 있어요!페이스북의 경우 데이터를 비동기로 가지고 오기 때문에 bs4같은 라이브러리로는 크롤링이 어려워 보입니다.
페이스북 개발자 페이지에 가보면 API키를 발급 받아서 필요한 API를 호출 할 수가 있습니다.
API를 호출해서 데이터를 가지고 오는게 좋을 것 같습니다.
아래 블로그는 페이스북 API 사용법에 대한 내용이 잘 나와 있습니다.
Facebook API를 이용하는게 아니라 크롤링 기법을 숙제로 내신것같은데, 실제로 웹사이트에 보이는 정보를 가지고 데이터를 수집하시며 됩니다.
"나도코딩"의 파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링? 웹 스크래핑! 제가 가진 모든 비법을 알려드리겠습니다. 만 보시면 될 듯해요
똑같이 만들수 있는 건 없습니다. 보고 응용할 수 있어야 되요.
하나하나 의미를 파악해서 구현하시길 바랍니다.
