Pythonで機械学習に入門して仮想通貨の価格を推定する-線形回帰編-

mkdir python_machine_learning # 適切な場所で作業用フォルダを作成
cd python_machine_learning # 移動
pipenv --python 3 # pythonの環境を初期化する
pipenv install scikit-learn numpy matplotlib # scikit-learn と関連パッケージをインストールする
pipenv install --dev jupyter # jupyterというグラフィカルな対話式実行環境をインストールする
code . # VScodeで開く

pipenv run jupyter notebook # jupyter notebookのサーバーを立ち上げる

from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier(random_state=0)
X = [[ 1,  2,  3],  # 2 サンプル, 特徴の数が3のデータ。
    [11, 12, 13]]
y = [0, 1]  # 教師データ。[1,2,3]のデータを0に、[11,12,13]のデータを1に対応付ける。
clf.fit(X, y)

# トレーニングデータの分類を予測する
clf.predict(X) # => array([0, 1])

# 未知の値の分類予測
clf.predict([[4, 5, 6], [14, 15, 16]]) # => array([0, 1])
clf.predict([[14, 15, 16],[4, 5, 6]]) # =>array([1, 0])
clf.predict([[14, 15, 16],[7,8,9],[7,6,5],[4, 5, 6]]) # => array([1, 1, 0, 0])

# StandardScalerはデータを標準化(各列の平均が0に、分散が1になるような数値の整形)する処理
# 平均は各データを足して要素数で割った数値
# 分散は各データの平均値との差を二乗し、平均をとったもの
from sklearn.preprocessing import StandardScaler
X = [[0, 15],
     [1, -10]]
ss = StandardScaler().fit(X) # フィッティングさせる。
ss.transform(X) # => array([[-1.,  1.],[ 1., -1.]]) # 訓練データを標準化したもの
Y = [[2,5],[4,-12]] # 未知データ
ss.transform(Y) # => array([[ 3.  ,  0.2 ],[ 7.  , -1.16]])

from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# pipelineオブジェクトを作成する
pipe = make_pipeline(
    StandardScaler(), # 標準化用の前処理
    LogisticRegression() # ロジスティック回帰の推定器
)

# アヤメのデータをロードして、トレーニングデータとテストデータに分ける
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# パイプラインを学習させる
pipe.fit(X_train, y_train)

accuracy_score(pipe.predict(X_test), y_test)
# => 0.9736842105263158

from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_validate

# 回帰モデル用のデータを生成する この場合はサンプル数1000、random性を排除してデータを作る
X, y = make_regression(n_samples=1000, random_state=0) 
lr = LinearRegression()

# デフォルトではデータを5分割してクロスバリデーションを行う。
# 詳しくはk-分割交差検証 ( https://ja.wikipedia.org/wiki/%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC#k-%E5%88%86%E5%89%B2%E4%BA%A4%E5%B7%AE%E6%A4%9C%E8%A8%BC )
# を参照
result = cross_validate(lr, X, y)  
result['test_score']  # => array([1., 1., 1., 1., 1.]) 
# データが簡単なので交差検証の妥当性が高い

from sklearn.datasets import fetch_california_housing
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import RandomizedSearchCV
from sklearn.model_selection import train_test_split
from scipy.stats import randint

X, y = fetch_california_housing(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# 探索するパラメータの範囲を指定する
param_distributions = {'n_estimators': randint(1, 5),
                       'max_depth': randint(5, 10)}

# searchCV を作成して、データにフィッティングしましょう。
search = RandomizedSearchCV(estimator=RandomForestRegressor(random_state=0),
                            n_iter=5,
                            param_distributions=param_distributions,
                            random_state=0)
search.fit(X_train, y_train)

# => RandomizedSearchCV(
#      estimator=RandomForestRegressor(random_state=0), 
#      n_iter=5, 
#      aram_distributions={'max_depth': ..., 'n_estimators': ...},
#      random_state=0
# )

search.best_params_ # => {'max_depth': 9, 'n_estimators': 4}

# これで探索オブジェクトは norman random forest estimatorとして振る舞うようになった
# max_depth = 9, n_estimators=4

# テスト用データとその教師データにたいして適用する
search.score(X_test, y_test) # => 0.735363411343253
# 比較的高い精度であることがわかる

import urllib.request # HTTPリクエストの標準ライブラリ
# 直近24時間のBitcoinの価格のチャートを取得する
url = "https://api.coinstats.app/public/v1/charts?period=24h&coinId=bitcoin"
response = urllib.request.urlopen(url)
response_utf8 = response.read().decode('utf-8')
print(response.getcode()) # httpステータス。200が帰ってきていたらアクセス成功。
print(response_utf8) # => 例:{"chart":[[1648104600,43148.9712,1,14.1248]......]}

# 帰ってくる配列
# BTC = Bitcoin、ETH = Ethereum、USD = アメリカドル
# [[unix_time(UNIX時間), BTC_to_USD(BTCのドル価格),BTC_to_BTC(BTCのBTC価格:1), BTC_to_ETH(BTCのETH価格)],....]

import numpy as np
json = eval(response_utf8) # 文字列をオブジェクトに変換
nary = np.array(json["chart"]) # numpyにより提供される配列(ndarray)に変換
print(nary)

import matplotlib.pyplot as plt
x = nary[:,0] # ndarrayの二重配列は[:,列]の記法で列を取り出せる。unixtimeの列を取得
y = nary[:,1] # BTC/USDの列を取得

# 散布図を作成する
plt.scatter(x,y,5) # xの値, yの値, マーカーの大きさ
plt.plot(x,y)
# 散布図の各点を線で結ぶ
plt.show() # 表示する

# sklearn.linear_model.LinearRegression クラスを読み込み
from sklearn import linear_model
lr = linear_model.LinearRegression()
 
X = x.reshape(-1,1) # 配列を縦のベクトルに変換する
Y = y.reshape(-1,1) # 配列を縦のベクトルに変換する
 
# 予測モデルを作成
lr.fit(X, Y)
 
# # 回帰係数 
# Y = aX + bにおけるa
print(lr.coef_)
 
# # 切片 
# Y = aX + bにおけるb
print(lr.intercept_)
 
# # 決定係数を表示する
## 説明変数が目的変数をどれくらい説明できるかを表す値。  
print(lr.score(X, Y))

plt.scatter(x,y,5) # xの値, yの値, マーカーの大きさ
plt.plot(x,y)
plt.plot(X, lr.predict(X), color = 'red')
plt.show()

import time

t = int(time.time()) # 現在時刻のunixtimeを取得する
print(t)
t = t + 86400 # 一日後の時間を求めるために86400秒足す
print(lr.predict([[t]]))

P = np.append(x, t).reshape(-1,1)

plt.scatter(x,y,5) # xの値, yの値, マーカーの大きさ
plt.plot(x,y)
plt.plot(P, lr.predict(P), color = 'green', linestyle="dashed") # 予測部分は破線で描画する
plt.plot(X, lr.predict(X), color = 'red')
plt.scatter([[t]], lr.predict([[t]]),100) # 一日後の価格予想点
plt.show()