[Web Crawler] AutoCrawler

AutoCrawler

 

 

구글과 네이버 이미지를 멀티 프로세스로 빠르게 크롤링할 수 있는 라이브러리이다. 현재 구글 사이트에서는 로직 문제로 위 라이브러리로는 수집 불가하다.

 

설치 방법

 

사이트에서 git clone을 하거나 zip 파일로 다운로드한다.

 

사용 방법

 

python main.py [--skip true] [--threads 4] [--google true] [--naver true] [--full false] [--face false] [--no_gui auto] [--limit 0]

 

네이버에서 크롤링하고자 한다면 --naver true 그리고 구글에서는 --google true로 터미널을 통해 실행한다.

 

https://github.com/YoongiKim/AutoCrawler/tree/master

GitHub - YoongiKim/AutoCrawler: Google, Naver multiprocess image web crawler (Selenium)