프록시가 차단된 서버를 접속할 방법이 없나요?
안녕하세요.
프록시를 사용하여 스크래핑 혹은 크롤링을 위해 타겟사이트에 접속하려는데
최근에 접근이 막혔습니다.
이리저리 테스트를 해보니 프록시를 사용할경우 접속차단이 이루어지고 있었습니다.
그래서 프록시 또는 vpn 을 사용하여 해당 작업을 하고 싶은데 이를 뚫을 방법이 있을까요?
tor 또는 오페라를 통해 vpn 자동으로 변경되 접속은 가능하나... 제가 selenium을 사용하고 있어서
ie, chrome 브라우저를 사용할 수 있습니다.
해결방법이 있을까요?
55글자 더 채워주세요.
1개의 답변이 있어요!
서버 입장에서 접속자의 프록시 사용 여부 자체는 파악하기 힘듭니다.
따라서 질문자님의 문제는 크롤링 알고리즘이 엄격한 문제가 아니라는 경우 하에(특정 IP만 더 잘 막히시는 걸로 이해했습니다) 알려진 공용 프록시 IP등을 사용하셨을 가능성이 크다 보여집니다.
해당 경우라면 실무에서는 AWS나 기타 서비스의 유료 고정 IP나 VPN를 복수의 가상 서버를 활용해 스크래핑하는 등의 방법으로 우회합니다.
단, 이미 공개적이지 않은 클라우드/물리적 IDC 서비스의 유료 고정 IP나 VPN등을 활용하고 계시다면, 해당 문제가 아닌 서버의 스크래핑 방지 알고리즘이 엄격한 경우일 수도 있으므로, 여러 IP를 준비하시어 정확한 차단 조건을 파악하셔야 될 것으로 보입니다.
