はじめに

機械学習を勉強するついでに統計学についても勉強をはじめてみた。
コミットしたい記事など溜まってるので、物凄くザックリに単回帰について記述したいと思う。
そのため読みにくい、間違っていることを書いてしまうと思うのでご指摘いただければありがたいです。

データについて

例えば下記表のように各日にちの最高気温によってアイスコーヒーの売れた個数のデータがあるする

このデータを縦軸を売れた個数、横軸を気温とすると下の図のようにプロット出来る。

この図から気温が高くなるほどアイスコーヒーが売れてるような傾向があると分かる。
今回は最高気温が何度の時にアイスコーヒーが何杯売れるかを予測できる一次式を求める。

回帰式を求める。

単回帰では、回帰直線は$\hat{y} = ax +b$で表され、最小二乗法になるように$a$と$b$を求める。
下記に求め方に対応する計算結果の表を示す。

各日にちの最高気温：$x_{i}$
最高気温の平均：$x_{ave} = 29.14285714$
各日にちの注文数：$y_{i}$
注文数の平均を：$y_{ave} = 72.5$
として、回帰式を求めるための偏差平方和・偏差積和を求める。
$x$の偏差平方和：$S_{xx} = \sum_{i=1}^{
14} (x_{i}-x_{ave})^2$
$y$の偏差平方和: $S_{yy} = \sum_{i=1}^{
14}(y_{i}-y_{ave})^2$
$x$と$y$の偏差積和: $S_{xy} = \sum_{i=1}^{
14}(x_{i}-x_{ave})(y_{i}-y_{ave}) $

この時、今回のデータに対する回帰直線$a$と$b$を求め方は

a = \frac{S_{xy}}{S_{xx}}

=\frac{499.00000000000006}{129.7142857142857}
=3.8469162995594726

b=y_{ave} -x_{ave}×a　 \\
= 72.5 - 29.142857142857146 × 3.8469162995594726 \\
= - 39.610132158590346

よって回帰式$\hat{y}$は

\hat{y} = 3.8469162995594726  x - 39.610132158590346

と表される。下記図に回帰直線$\hat{y}$をプロットしたグラフを表示する。

上記のようになんとな〜く回帰直線が引けてることがわかる。

寄与率を求める

この回帰式の精度を評価する方法の一つ、寄与率を求めて評価を行ってみる。
寄与率は、重相関係数$R$の平方和で表される。
重相関係数は、

R=\frac{yと\hat{y}の偏差積和}{\sqrt{yの偏差平方和×\hat{y}の偏差平方和}}

と表される。
$y$の偏差平方和: $S_{yy} = \sum_{i=1}^{
14}(y_{i}-y_{ave})^2 $
$\hat{y}$の偏差平方和: $S_{\hat{y}\hat{y}} = \sum_{i=1}^{
14}(\hat{y_{i}} - y_{ave})^2 $
$y$と$\hat{y}$の偏差積和: $S_{y\hat{y}} = \sum_{i=1}^{
14}(y_{i}-y_{ave})(\hat{y_{i}} - y_{ave}) $
であるので、

R=\frac{yと\hat{y}の偏差積和}{\sqrt{yの偏差平方和×\hat{y}の偏差平方}}　\\
=\frac{S_{y\hat{y}}}{\sqrt{S_{yy}×S_{\hat{y}\hat{y}}}}　\\
=\frac{1919.611233480177}{\sqrt{2159.5×1919.6112334801774}}　\\
=\frac{1919.611233480177}{2036.0256527608985}\\
=0.9428227148695986

よって
寄与率:$R^2 = (0.9428227148695986)^2 = 0.8889146716740803$
寄与率は0〜1の間で表されており、1に行くほど回帰式が精度高いことを示している。
統計学上、寄与率がどのくらいあれば精度が高いと言えるか明確な基準がないみたいです。
寄与率の目安としては0.5以上みたいです。

下に今回の計算過程の表を示す。

参考までにgithubにテストデータとソースコードを置いとく

github
ソースも雑に書いて汚いが参考になれたらありがたい。