【icrawler】Googleの仕様変更後でも画像をダウンロードする方法(2020.3月以降)

4987 ワード
Python3 icrawler Python scraping スクレイピング Python テキストリンク

初めまして。
ペーペーの文系大学生です。
趣味程度でディープラーニングをかじっております。

好きなアイドルやキャラクターの写真を画像認識させたい時にいつもicrawlerを使っていました。
ですが、今までのやり方だと急に出来まくなってて、、、
（2020.03から仕様変更があったそうです。）
今まで使えていたコードが下のです。（これではエラーが出ます。）

get_image.py
from icrawler.builtin import GoogleImageCrawler
import sys
import os

argv = sys.argv

if not os.path.isdir(argv[1]):
    os.makedirs(argv[1])


crawler = GoogleImageCrawler(storage = {"root_dir" : argv[1]})
crawler.crawl(keyword = argv[2], max_num = 1000)

変更後に使えるコードは

get_image.py
from icrawler.builtin import BingImageCrawler
import sys
import os

argv = sys.argv

if not os.path.isdir(argv[1]):
    os.makedirs(argv[1])


crawler = BingImageCrawler(storage = {"root_dir" : argv[1]})
crawler.crawl(keyword = argv[2], max_num = 1000)

です。
これで動きました!!!!!!!
GoogleImageCrawlerをBingImageCrawlerに置き換えたら動くそうです。

ちなみにこのプログラムを実行したいときは、ターミナルに以下のように打ち込むといけると思います！！

$　python get_imeg.py */保存したいディレクトリ　検索したい画像名

python get_image.py */ダウンロードした画像を保存したいディレクトリ　ダウンロードしたい画像の名前（例えば　白石麻衣　とか）　

爆笑問題　田中で実行すると、下のように自動で回収してくれます。

ディープラーニングの際には是非！！！
これで、１連の流れは網羅してあります！！
爆笑問題の太田派？田中派？(画像認識入門）

引用
https://qiita.com/NakaokaRei/items/8c7e7b1f2c0c7ef8b3a3