크롤러를 만들 때 숙지하면 좋을만한 팁
in Technical posts
크롤러들을 제작하며 터득한 팁을 알려드립니다.
크롤러를 만들 때 알아두면 유용한 팁들을 소개합니다.
1. 크롤링 시 필요한 필수 HTML 지식 - 개발자 도구에서 특정 엘리먼트 선택
크롤링 시 필요한 필수 HTML 지식 - 개발자 도구에서 특정 엘리먼트 선택
F12 버튼을 눌러, 특정 요소의 HTML 구조를 확인할 수 있습니다.
2. 크롤링 시 사용 가능한 API 찾기 - 개발자 도구의 Network 탭
크롤링 시 사용 가능한 API 찾기 - 개발자 도구의 Network 탭
사이트에 접속할 때부터 Network 기록을 살펴보며, API 조회하는 부분을 잘 살펴봅니다. 이러한 API의 Headers, Payload, Response를 잘 살펴본 후 크롤러에 잘 반영하시면 됩니다. 간혹 Headers, Payload, Response를 잘 반영하여 코딩했는데도 안 된다면 아래의 방법을 시도해보세요:
- 해당 요청을 curl로 복사하여 테스트해봅니다.
- curl로 정상 동작한다면, 아래의 방법으로 추가 진행해봅니다.
3. curl command를 각종 언어의 requests 폼으로 변환
Chat-GPT도 curl command를 각종 언어의 requests 폼으로 변환 시, 그 처리 정확도가 높지 않습니다. (경험 상, 항상 에러가 존재하는 코드로 뱉어내곤 합니다.) 상기 사이트에서 변환 시, 각종 언어로 변환 가능합니다.
