파이썬으로 웹 크롤링 하려는데 속도차이

Question

인터넷 속도나 컴퓨터 사양에 따라 긁어오는 속도가 다른가요?

맞다면 사양과 인터넷 속도중 어떤것이 중요할까요?

서버컴퓨터를 대여해서 프로그램을 간단하게 돌려보려는데 미세한 차이라도 더 빠른 속도를 내기위해 어떤것을 우선시 해야할지를 모르겠습니다

Answer 1

안녕하세요.

간단한 웹 크롤링 프로그램을 개발하시려면

저사양 서버라도 괜찮습니다.

단 서버 요청 빈도나 부하 염려가 있다면 상황에 맞춰 서버 사양을 올리시면 됩니다.

인터넷 속도는 서버의 네트워크 상태에 영향을 받거나

크롤링 하고자 하는 타겟의 서버 상태에 따라 다르겠지요.

타켓 서버는 어찌할 수 없다해도, 메인 서버의 네트워크 상태는 중요하지

서버 대여시 네트워크 용량도 고려하시길 바랍니다.

Answer 2

인터넷 속도나 컴퓨터 사양에 따라 긁어오는 속도가 다른가요?

맞다면 사양과 인터넷 속도중 어떤것이 중요할까요?

서버컴퓨터를 대여해서 프로그램을 간단하게 돌려보려는데 미세한 차이라도 더 빠른 속도를 내기위해 어떤것을 우선시 해야할지를 모르겠습니다

===> 아무리 좋은 컴퓨터를 보유하고 있어도 ,상대방측 그러니깐 서버측에서 응답해주는 속도가 늦으면

좋은 컴퓨터가 있으나마나입니다.

그러므로 위 문제는 복합적인것이라 단순히 컴퓨터 좋은걸로 바꾸세요 라고 답할수 없네요

Answer 3

안녕하세요 아하 프로그래밍 지식 답변자 입니다.

질문자님이 문의하신 대로 인터넷 속도와 컴퓨터 사양에 따라 크롤링 속도에 영향을 주는게 맞습니다.

여러 사이트를 크롤링 할 경우 작업을 수행하는 컴퓨터의 네트워크 대역폭이 충분하지 못하면 데이터를 읽어오는 데 시간이 오래 걸립니다. 또한 네트워크 통신은 CPU를 사용하는 작업 이므로 CPU성능이 낮다면 동시에 여러 사이트를 크롤링 할 때 속도가 느려집니다. 마지막으로 크롤링한 자료를 디스크에 쓸 경우 HDD인지 SDD 인지에 따라 속도 차이가 또 나게 됩니다.

따라서 충분한 네트워크 대역폭, CPU 쓰레드, SDD 를 장착한 서버를 사용하시는게 좋습니다.