01-windows下python Webページの画像を登る

9775 ワード

1.まずpythonをダウンロードし、環境をインストールします.
pycharm、anacondaのダウンロードとインストール
各ホームページからダウンロードし、ワンタッチでインストールします.-pycharm: http://www.jetbrains.com/pycharm/ - anaconda: https://www.anaconda.com/download/
2.pycharmのインストール
ダウンロードソフト:pycharm-community-2017.3.3.exeインストール先:J:00-pyson00-pycharminstall
3.anaconda構成
ダウンロード:Anaconda 3-5.0.1-Windows-x86_64.exe設置場所:J:Anaconda 3install
anacondaとは、conda、Pythonなど180以上の科学パッケージとその依存項目を含むオープンソースのPythonリリースバージョンを指す.[1]大量の科学パッケージが含まれているため、Anacondaのダウンロードファイルは比較的大きい(約515 MB)、一部のパッケージのみが必要であるか、帯域幅やストレージスペースを節約する必要がある場合は、Minicondaという小さなリリース版(condaとPythonのみを含む)を使用することもできる.
Pythonは使いやすいが、使いやすいが使いにくい.その中で頭が痛いのは、パッケージ管理とPythonの異なるバージョンの問題で、特にWindowsを使用しているときです.これらの問題を解決するために、WinPython、Anacondaなど、多くのリリース版のPythonはpythonと多くのよく使われるpackageをパッケージ化し、pythonersの直接使用を便利にしているほか、virtualenv、pyenvなどのツールが仮想環境を管理している.
個人的には似たようなリリース版をたくさん試して、最終的にAnacondaを選びました.強力で便利なパッケージ管理と環境管理の機能のためです.本文は主にAnaconda,Anacondaに対する理解を紹介し,関連する操作を簡単にまとめた.
Anacondaの概要
Anacondaは科学計算用のPythonリリース版で、Linux、Mac、Windowsシステムをサポートし、パッケージ管理と環境管理の機能を提供し、マルチバージョンpythonの併存、切り替え、および各種サードパーティパッケージのインストール問題を簡単に解決することができます.Anacondaはツール/コマンドcondaを利用してpackageとenvironmentの管理を行い、Pythonと関連するツールが含まれています.
ここではまずconda,anacondaという概念の違いを説明する.condaは、パッケージ管理と環境管理を核心とする実行可能なコマンドであるツールとして理解できます.パッケージ管理はpipと同様に、環境管理では、異なるバージョンのpythonを簡単にインストールし、迅速に切り替えることができます.Anacondaはパッケージ化された集合で、conda、あるバージョンのpython、多くのpackages、科学計算ツールなどがプリインストールされているため、Pythonの発行版とも呼ばれています.実はMinicondaもあります.名前の通り、最も基本的な内容であるpythonとconda、および関連する必須依存項目だけが含まれています.空間の要求が厳しいユーザーにとって、Minicondaは選択です.
以下に入る前に、condaの設計理念を説明します.condaはpythonとconda自身も含めて、ほとんどのツール、サードパーティのパッケージをpackageとして扱っています.したがって、condaはパケット管理と環境管理の制約を破り、python、packageの様々なバージョンを容易にインストールし、容易に切り替えることができます.
win 7では、anacondaはデフォルトでJ:Anaconda 3installにインストールされています.condaをいつでもどこでも使用できるように、環境変数にJ:Anaconda 3installScriptsを追加する必要があります.追加後にcmdを再起動し、conda-Vを入力してバージョンを正しく返すと、構成が成功したことを示します.
anaconda python環境の作成
他のanacondaチュートリアルを参照するか、anaccondaが提供するインタラクティブな環境で手動で作成し、作成した環境はC:ProgramDataAnaconda 3envsの下に格納できます.
  • Condaはオープンソースのパッケージ、環境マネージャであり、同じマシンに異なるバージョンのパッケージとその依存をインストールするために使用することができ、異なる環境間で
  • を切り替えることができる.
  • Anacondaは、Conda、Pythonと、numpy、pandasなどの
  • のような取り付けられたキットの山を含む.
  • Minicondaは、Conda、Python
  • を含む.
    一般的にダウンロードして使用するのはAnacondaで、基本的なツールパッケージが含まれています.condaはパッケージと環境を管理するためのコマンドラインツールです.
    注意:Anacondaをインストールした後、次のシステム環境変数をクリックします.pythonを追加する環境は必要ありません.
    01-windows下python爬取网页上的图片_第1张图片
    コマンドを直接使用できます
    01-windows下python爬取网页上的图片_第2张图片
    3. anaconda&pycharm
    pycharmでFile->settings->project->Project interpreter->add localをクリック
    anaconda 2フォルダのpythonを追加します.exeでいい
    01-windows下python爬取网页上的图片_第3张图片
    自分でインストールした外部の
    01-windows下python爬取网页上的图片_第4张图片
    ここに山ができてこそ正しい
    01-windows下python爬取网页上的图片_第5张图片
    4.ケース
    新規プロジェクト
    01-windows下python爬取网页上的图片_第6张图片
    #!/user/bin/python3
    # -*- coding: UTF-8 -*-
    from urllib import request
    from bs4 import BeautifulSoup
    import re
    import time
    
    
    #r = request.get('http://www.mzitu.com/all/') #   url    get  ,    response  
    #print(r.text) #r.text http response   HTML
    
    url = "https://www.zhihu.com/question/22918070"
    html = request.urlopen(url).read().decode('utf-8')
    print ("Hello, Python!") #      
    soup = BeautifulSoup(html, 'html.parser')
    # print(soup.prettify())
    
    #  Beautiful Soup                  (img   ,class=**, .jpg     )   
    links = soup.find_all('img', "origin_image zh-lightbox-thumb", src=re.compile(r'.jpg$'))
    print(links)
    
    #          ,            
    path = r'J:\00-pyson\img'  #     r            ,              
    for link in links:
        print(link.attrs['src'])
        #        ,time.time()             
        request.urlretrieve(link.attrs['src'], path + '\%s.jpg' % time.time())  #   request.urlretrieve                
    
    

    問題1:windowsの下には内部コマンドや外部コマンドも実行可能なプログラムやバッチファイルもありません.
    解決:環境変数を設定し、J:pythonScripts;J:\python\; しかし、まだ間違っています.最後はどうしたらいいか分からなかった.
    質問2:ImportError:No module named bs 4
    解決:
    解決方法:
    実行時プロンプトImportError:No module named bs 4エラー.Beautifulsoup 4というモジュールが見つからないことを意味します.
    Pythonのモジュールのインストール方法を書いてください.
    1.BS 4モジュールのダウンロード:
    http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/beautifulsoup4-4.3.2.tar.gz
    2.Pythonインストールディレクトリの下にあるルートディレクトリに解凍します.
    01-windows下python爬取网页上的图片_第7张图片
    3.cmdを実行し、解凍したディレクトリに入ります(PythonがデフォルトでCディスクにインストールされている場合は、cmdを開いた後にcdを使用できます...文はルートディレクトリに戻り、Python 27beautifulsoup 4-4.3.2に入ります)
    J:\python\beautifulsoup4-4.3.2>python setup.py install
    running install
    running build
    running build_py
    creating build
    creating build\lib
    creating build\lib\bs4
    copying bs4\dammit.py -> build\lib\bs4
    copying bs4\diagnose.py -> build\lib\bs4
    copying bs4\element.py -> build\lib\bs4
    copying bs4\testing.py -> build\lib\bs4
    copying bs4\__init__.py -> build\lib\bs4
    creating build\lib\bs4\builder
    copying bs4\builder\_html5lib.py -> build\lib\bs4\builder
    copying bs4\builder\_htmlparser.py -> build\lib\bs4\builder
    copying bs4\builder\_lxml.py -> build\lib\bs4\builder

    でもやっぱりダメで、最後はanacondaを使って
    プログラム実行結果
    J:00-pysonimgディレクトリの下に画像を生成