파이썬 예외처리 질문입니다. 도와주실수있는부뉴ㅠ?

Question

Urllib를 이용해서 피싱사이트 검출을 위해 데이터셋 정제 과정중에 있습니다.

피싱사이트 특성상 워낙 빨리 막히기도하고 다시

생기기도하기에 except문을 사용해서 HTTPError, URLError 발생시에 저장되어있는 csv 파일에서 해당 url을 지우려고합니다.

그런데 해당 방법이 전혀 떠오르지 않아

질문드립니다.

전체 코드가 힘들다면 except문을 통해 에러검출이되었을시에 프로그램이 종료되지 않게 할수 있을까요?

데이터셋이 백만개 가량이라 돌려놓고 싶은데 에러검출시 바로 except문을 통해 종료되어버려서 방법을 찾을수없습니다.

도와주세요 고수분들 ㅜㅠㅠ

Answer 1

많은 사이트를 돌려보기 위해서는 반복문을 사용했을 것 같습니다.

반복문안에 try except 문을 사용하면 해결이 가능 할 것 같습니다.

for(i in 100): try: // 피싱사이트 검출 로직 except: print("오류 발생")

이렇게 만들면 되면 에러가 발생하더라도 종료가 되지 않을것 같습니다.

csv파일은 판다스로 필요없는 url은 삭제 하는 로직을 추가하면 될것 같습니다.

Answer 2

굳이 지울 필요없이 그냥 URL이 막힐 경우 그 URL 에러로 종료만 안되게 만들어주면 될 것같은데요?

예를 들어

for row in rows: url = row["url"] try: download(url) exception: print("skip {}".format(url))