beautiful soup4のインスタンス生成時に、lxmlを指定するとスクレイピング時にデータが欠落した問題
685 ワード
現象
30件データを取得したいにも関わらず、14件しか取得できません。
解決策
パース前にパース対象を下記のコードのように、shift-jisからutf-8に変換しておく必要があります。
soup = BeautifulSoup(c.decode("CP932"), "lxml")
Author And Source
この問題について(beautiful soup4のインスタンス生成時に、lxmlを指定するとスクレイピング時にデータが欠落した問題), 我々は、より多くの情報をここで見つけました https://qiita.com/NoOne/items/ff78e8589719a159c064著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .