멍개의 연구소

크롤러는 주로 파이썬을 통해개발을 합니다.javascript에서도 chreeio와 같이 크롤러를 할 수 있도록 해주는 라이브러리가 있으나, 비동기 적인 특성 때문에 코드의 작성이 상당히 어려운 부분이 있습니다. 그래서 다양한 라이브러리 제공하는 파이썬을 많이 사용합니다. 크롤러는 크게 2종류의 모듈을 사용합니다. 1. 웹 페이지 요청하는 모듈 2. 요청후 응답 받은 html 돔을 제어 할 수 있는 모듈(파서) 파이썬에서는 웹 페이지 요청을 하는 라이브러리로 requests와 urllib를 사용을 합니다. 파서 모듈로 BeautifulSoup(bs4)를 사용합니다. 우선 requests와 urllib는 요청하는건 같은데 내부적으로 텍스트를 처리하는 방식, 에러를 처리하는 방식이 다릅니다. urllib의 4..