持橋・大羽さんの「ガウス過程と機械学習」について，気になったところをメモします。また誤植もいくつか見つけたので，それも指摘しようと思います。
以下では本書とは異なり，行列はボールド体にしません。また単位行列は$1$で表記することにします。

1.1単回帰

単回帰の正規方程式ですが，期待値を導入すると表記がすっきりして見通しがよいです。

\begin{eqnarray}
a+b \langle x \rangle &=& \langle y \rangle \\
 a \langle x \rangle + b \langle x^2 \rangle &=& \langle xy \rangle
\end{eqnarray}

1.2重回帰

ベクトルでの微分ということにこだわるとうまくイメージがしずらいかもしれません。$ \dfrac{\partial E}{\partial \boldsymbol{w}} $とは，$\boldsymbol{w}$の各成分で微分したものをベクトルとして並べたものです。たとえば$\dfrac{\partial}{\partial \boldsymbol{w}} \boldsymbol{w}^{T} \boldsymbol{x} = \boldsymbol{x}$は以下のように導くこともできます。

\dfrac{\partial}{\partial w_i} \sum_d w_d x_d = \sum_d \delta_{d,i} x_d = x_i

途中式にある$\delta$はデルタ記号です。このように添え字を陽に書いておけば間違えにくいです。

1.3線形回帰モデル

非線形な関数に拡張するのに線形回帰モデルという名前はどういうことかと困惑しましたが，非線形な基底関数$\phi_h ( \boldsymbol{x})$の線形結合によって表現するということだそうです。きわめてどうでもいい誤植ですが，式(1.62)の$\boldsymbol{X}$は$\boldsymbol{\Phi}$の間違いですね。式(1.60)では正しい表記になっているのに…

1.4リッジ回帰

二乗誤差$E$に対して$\alpha |\boldsymbol{w}|^2$という，重みの大きさに対するペナルティーを課すことで計算がうまくいくようにします。あとで触れますが，このリッジ回帰というテクニック(?)が重みの事前分布と自然につながっているということは面白いです。
少し気になったのは$\boldsymbol{w} = (X^{T}X+\alpha)^{-1}X^{T} \boldsymbol{y}$において，$X^{T}X+\alpha$の逆行列が常に存在するかということです。線形代数力が足りないのですぐには分かりません…すこし頑張れば証明できそうな気もしますが，面倒なのでやめておきます。