主成分分析における行列表現

線形次元削減

　高次元の訓練入力標本 ${x_i}$ から低次元の表現 ${z_i}$ を求めること。
　つまり ${m\times d}$ の埋め込み行列 ${T}$ を用いて、 ${z_i=Tx_i}$ として ${z_i}$ を求めること。

f:id:upura:20170704135846p:plain

主成分分析

　次元削減後の表現 ${z_i}$ が ${x_i}$ の正射影であるという制約の下で、 ${z_i}$ が ${x_i}$ となるべく近くなる埋め込み行列 ${T}$ を決定する。
　下線部は ${TT^\mathrm{T}=I}$ と行列を用いて表現できる。
　このとき ${z_i}$ と ${x_i}$ は次元が違うので、単純に比較できない。そのため ${z_i}$ に左から ${T^\mathrm{T}}$ をかけて ${T^\mathrm{T}z_i}$ として次元を揃える。
　これらの差 ${|T^\mathrm{T}z_i-x_i|=|T^\mathrm{T}Tx_i-x_i|}$ を最小化するような ${T}$ を求めることになる。