멍개의 연구소

크롤러는 주로 파이썬을 통해개발을 합니다.javascript에서도 chreeio와 같이 크롤러를 할 수 있도록 해주는 라이브러리가 있으나, 비동기 적인 특성 때문에 코드의 작성이 상당히 어려운 부분이 있습니다. 그래서 다양한 라이브러리 제공하는 파이썬을 많이 사용합니다. 크롤러는 크게 2종류의 모듈을 사용합니다. 1. 웹 페이지 요청하는 모듈 2. 요청후 응답 받은 html 돔을 제어 할 수 있는 모듈(파서) 파이썬에서는 웹 페이지 요청을 하는 라이브러리로 requests와 urllib를 사용을 합니다. 파서 모듈로 BeautifulSoup(bs4)를 사용합니다. 우선 requests와 urllib는 요청하는건 같은데 내부적으로 텍스트를 처리하는 방식, 에러를 처리하는 방식이 다릅니다. urllib의 4..

import requests as rq def image_download(url, file_name): image_request_result = rq.get(url) image = image_request_result.content destination = open(file_name, 'wb') destination.write(image) if __name__ == "__main__": url = 'image _ url' file_name = 't.jpg' testForExif(file_name) 해당 이미지를 다운받는 소스입니다. 응답 데이터를 바이트 코드로 바꾸어 해당 바이트 코드를 파일로 만들어 줍니다. 원래 크롤러에스 쓰려고 한건 아니고 취약점 검사를 할 때 이미지를 가져와서 해당 이미지 파일의 ..

pep을 사용해서 매번 검사를 하는건 귀찮은 일이니 이러한 작업을 커밋을 할때 검사를 하도록 훅을 만들어 보겠습니다. git diff에서 |파이프 라인을 사용하면 cache에 대한 내용을 검사를 할 수 있습니다. $ git status On branch master Your branch is ahead of 'origin/master' by 1 commit. (use "git push" to publish your local commits) Changes to be committed: (use "git reset HEAD ..." to unstage) new file: .app.py.swp new file: app.py new file: app2.py3개의 파일을 add 했습니다 $ git diff --..

git에서도 hook을 추가 할 수 있습니다. 프로그래밍에서 hook이란 특정 이벤트 또는 함수가 호출 되기 전,후에 호출이 되는 코드를 말합니다. git에서의 이벤츠는 커밋, 풀, 머지 등과 같은 작업으로부터 특정 스크립트를 실행을 시킬 수 있습니다.(해당 스크립트는 perl, python등과 같은 스크립트 언어로 작성이 가능 합니다.)git은 크게 local과 remote두가지로 나눌 수 있늗데 hooks또란 이 두가지경우 모든 설정을 각각 해 줄 수 있습니다. git과 연동된 프로젝트에서 .git이라는 디렉토리를 확인 할 수 있습니다. $ ls -ahl . .. .git 해당 디렉토리는 숨긴상태로 뜨기 때문에 -ahl이라는 옵션을 추가 해 줍니다. 윈도우의 경우 디렉토리 옵션에 들어가서 숨긴 폴더표..