正規方程式の諸性質

           X⊤Xβ = X⊤y

▶ 正規方程式の任意の解は最小二乗推定量である
⋆ 一般に, β が方程式 (21) の解であることは, β が S(β) を最小にするた めの必要条件であって十分条件であるとは限らないことに注意
▶ 正規方程式の解が一意的であるための必要十分条件は, (p + 1) 次正方 行列 X⊤X が正則であることであり, このとき正規方程式の解は
βˆ = (X⊤X)−1X⊤y で与えられる

実際のデータ解析をする上では, 最小二乗推定量がただ一つだけ存在 する状況が好ましい (例えば推定量の選択によって分析結果が変化し てしまうことが避けられる)
▶ 前頁の正規方程式の性質から, これは X⊤X が正則であることと同値
▶ X⊤X が正則であることは, X の列ベクトルが 1 次独立であることと
同値であるが証明できる
▶ X の各列は各説明変数の観測データからなるベクトルで与えられてい
るから, これは回帰式の構築に利用する説明変数たちが互いに異なる 情報をもつという意味だと解釈できる
説明変数の間の関係の 1 次従属関係への近さの度合いは多重共線性 (multicollinearity) と呼ばれる
前頁で述べた理由から, データ解析をする上では説明変数は多重共線 性があまり強くならないように選択すべきである
▶ 例えば, 似たような動きをする説明変数を重複して利用することは避 けるべき

βˆ が最小二乗推定量のとき, デザイン行列 X の列ベクトルたち で張られる Rn の部分線形空間 (超平面) を L[X ] と書くことにすれ ば, yˆ はベクトル y の L[X ] への直交射影となる