import twitter
import requests
import bs4
import matplotlib.pyplot as plt

# アクセストークンなどの設定。
auth = twitter.OAuth(consumer_key="XXX",
                     consumer_secret="XXX",
                     token="XXX",
                     token_secret="XXX")
t = twitter.Twitter(auth=auth)

# qは検索ワード、countは取得するツイート数、result_typeはどのように検索するか(recentで時系列順で新しいものから)
# t.search.tweets関数はjson形式で返ってきて、その中の['statuses']に各ツイート情報がリスト形式で入っています。
# countは最大100です。それ以上を指定しても100より多くは取得できません。
tweets = t.search.tweets(q='#どばすぽ', count=100, result_type='recent')['statuses']

# 各クラスの各カードが何回使われたかを保持するDictです。
# 最終的に2重のDictになります。
decks = {}
# 各クラスが何回使われたかを保持するDictです
classes = {}

# 各ツイートを見ていく
for tweet in tweets:
    urls = tweet['entities']['urls']

    for url in urls:
        expanded_url = url['expanded_url']
        # 'https://shadowverse-portal.com/deck/'から始まっていれば十中八九デッキリストのコードです
        if('https://shadowverse-portal.com/deck/' in expanded_url):
            print(expanded_url)
            try:
                # get_deck関数については後述します。
                # シャドウバースポータルのURLを引数にして、dict形式のデッキ情報とクラス(ロイヤル、ビショップなど)の2つからなるtupleが返ってきます。
                deck, person = get_deck(expanded_url)
            except:
                continue
            # サイトへのアクセスは1秒以上間を空けて行うようにしましょう。
            time.sleep(2)
            classes.setdefault(person, 0)
            classes[person] += 1
            decks.setdefault(person, {})

            for card in deck:
                decks[person].setdefault(card, 0)
                # カードの利用回数を数えていますが、カード枚数を数えることもできます。
                # その場合は += deck[card] でできるはずです。
                decks[person][card] += 1

def get_deck(url):
    response = requests.get(url)
    response.encoding = response.apparent_encoding
    # response.textに、ページのHTMLが入っています。
    soup = bs4.BeautifulSoup(response.text, "html.parser")
    # soup.select関数が、引数のcssセレクタに一致するタグすべてを取得できます。
    # 上述の「タグの探し方」よりel-card-list-info-name-textにカード名があることがわかるので引数にclassを指定します。
    names = soup.select('.el-card-list-info-name-text')
    # 上述の「タグの探し方」から、el-card-list-info-countにカードの枚数が入っていることがわかります。
    counts = soup.select('.el-card-list-info-count')
    # 上述の「タグの探し方」から、deck-summary-top-imageのaltにデッキのクラス名が入っていることがわかります。
    person = soup.select_one('.deck-summary-top-image')['alt']
    # deckの情報を持つdict
    deck = {name.text: int(count.text[1:]) for name, count in zip(names, counts)}
    return deck, person

plt.bar(classes.keys(), classes.values())
plt.xticks(rotation=-90)
plt.show()

for person in decks:
    tmp = {k: v for k, v in sorted(decks[person].items(), key=lambda x: -x[1])}
    plt.figure(figsize=(10, 5))
    plt.title(person)
    plt.bar(tmp.keys(), tmp.values())
    plt.xticks(rotation=-90)
    plt.show()