Amazon Product Advertising APIを使って商品名と最低価格を取得する
目的
AmazonサイトからAPIで商品名と最低価格を取得したのでメモしておく。
※AMAZONのAPI仕様、ライブラリの仕様が変更になるかもしれない。以下は2015年3月10日時点で動作したもの。
想定環境
事前準備
- Amazonマネージメントコンソールからアクセスキーを取得。(Security Credentials->Access Keys)
- アソシエイト(アフィリエイト)の登録。
- bottlenoseとBeautifulSoupインストール。
pip install bottlenose
pip install BeautifulSoup
コード
# -*- coding: utf-8 -*-
import bottlenose
from BeautifulSoup import BeautifulSoup
import random
import time
from urllib2 import HTTPError
AWS_ACCESS_KEY_ID='******' #マネージメントコンソールから取得
AWS_SECRET_ACCESS_KEY='******' #マネージメントコンソールから取得
AWS_ASSOCIATE_TAG='******-22' #アソシエイト(アフィリエイト)の登録が必要
SearchIndex="Books" #参照 https://images-na.ssl-images-amazon.com/images/G/09/associates/paapi/dg/index.html?JPSearchIndexParamForItemsearch.html
Keywords="Python" #検索キーワード
def error_handler(err):
ex = err['exception']
if isinstance(ex, HTTPError) and ex.code == 503:
time.sleep(random.expovariate(0.1))
return True
amazon = bottlenose.Amazon(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_ASSOCIATE_TAG,Region="JP",ErrorHandler=error_handler)
#結果ページ数取得
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="ItemIds",
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
totalpages=int(soup.first('totalpages').text)
print "totalPages=",totalpages
#各ページ取得
for page in range(totalpages) :
print "="*20,"page",page+1
if page >= 10: # max 10 pages
break
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="Small,OfferSummary",
ItemPage=page+1,
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
items = soup.findAll('item')
for item in items:
print item.title.text ,
if item.offersummary and item.offersummary.lowestnewprice:
print item.offersummary.lowestnewprice.formattedprice.text,
print
分かったこと。分からなかったこと。
- APIの呼出し回数の制限があるので、呼出し失敗時にはsleepしてリトライする。
- 検索は最大100件(10件×10ページ)まで。(2011年ごろに設定された制約)
- 検索時のデフォルトは新品のみのはずが、中古品まで含まれてしまう。(新品価格がうまく取れない場合がある。)
- Amazonマネージメントコンソールからアクセスキーを取得。(Security Credentials->Access Keys)
- アソシエイト(アフィリエイト)の登録。
- bottlenoseとBeautifulSoupインストール。
pip install bottlenose
pip install BeautifulSoup
コード
# -*- coding: utf-8 -*-
import bottlenose
from BeautifulSoup import BeautifulSoup
import random
import time
from urllib2 import HTTPError
AWS_ACCESS_KEY_ID='******' #マネージメントコンソールから取得
AWS_SECRET_ACCESS_KEY='******' #マネージメントコンソールから取得
AWS_ASSOCIATE_TAG='******-22' #アソシエイト(アフィリエイト)の登録が必要
SearchIndex="Books" #参照 https://images-na.ssl-images-amazon.com/images/G/09/associates/paapi/dg/index.html?JPSearchIndexParamForItemsearch.html
Keywords="Python" #検索キーワード
def error_handler(err):
ex = err['exception']
if isinstance(ex, HTTPError) and ex.code == 503:
time.sleep(random.expovariate(0.1))
return True
amazon = bottlenose.Amazon(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_ASSOCIATE_TAG,Region="JP",ErrorHandler=error_handler)
#結果ページ数取得
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="ItemIds",
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
totalpages=int(soup.first('totalpages').text)
print "totalPages=",totalpages
#各ページ取得
for page in range(totalpages) :
print "="*20,"page",page+1
if page >= 10: # max 10 pages
break
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="Small,OfferSummary",
ItemPage=page+1,
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
items = soup.findAll('item')
for item in items:
print item.title.text ,
if item.offersummary and item.offersummary.lowestnewprice:
print item.offersummary.lowestnewprice.formattedprice.text,
print
分かったこと。分からなかったこと。
- APIの呼出し回数の制限があるので、呼出し失敗時にはsleepしてリトライする。
- 検索は最大100件(10件×10ページ)まで。(2011年ごろに設定された制約)
- 検索時のデフォルトは新品のみのはずが、中古品まで含まれてしまう。(新品価格がうまく取れない場合がある。)
# -*- coding: utf-8 -*-
import bottlenose
from BeautifulSoup import BeautifulSoup
import random
import time
from urllib2 import HTTPError
AWS_ACCESS_KEY_ID='******' #マネージメントコンソールから取得
AWS_SECRET_ACCESS_KEY='******' #マネージメントコンソールから取得
AWS_ASSOCIATE_TAG='******-22' #アソシエイト(アフィリエイト)の登録が必要
SearchIndex="Books" #参照 https://images-na.ssl-images-amazon.com/images/G/09/associates/paapi/dg/index.html?JPSearchIndexParamForItemsearch.html
Keywords="Python" #検索キーワード
def error_handler(err):
ex = err['exception']
if isinstance(ex, HTTPError) and ex.code == 503:
time.sleep(random.expovariate(0.1))
return True
amazon = bottlenose.Amazon(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_ASSOCIATE_TAG,Region="JP",ErrorHandler=error_handler)
#結果ページ数取得
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="ItemIds",
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
totalpages=int(soup.first('totalpages').text)
print "totalPages=",totalpages
#各ページ取得
for page in range(totalpages) :
print "="*20,"page",page+1
if page >= 10: # max 10 pages
break
response = amazon.ItemSearch(
SearchIndex=SearchIndex,
Keywords=Keywords,
ResponseGroup="Small,OfferSummary",
ItemPage=page+1,
ErrorHandler=error_handler)
soup=BeautifulSoup(response)
items = soup.findAll('item')
for item in items:
print item.title.text ,
if item.offersummary and item.offersummary.lowestnewprice:
print item.offersummary.lowestnewprice.formattedprice.text,
print
- APIの呼出し回数の制限があるので、呼出し失敗時にはsleepしてリトライする。
- 検索は最大100件(10件×10ページ)まで。(2011年ごろに設定された制約)
- 検索時のデフォルトは新品のみのはずが、中古品まで含まれてしまう。(新品価格がうまく取れない場合がある。)
Author And Source
この問題について(Amazon Product Advertising APIを使って商品名と最低価格を取得する), 我々は、より多くの情報をここで見つけました https://qiita.com/tesujiro/items/d2ed284d9a27c47ab468著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .