u++の備忘録

主成分分析における行列表現

線形次元削減

 高次元の訓練入力標本{x_i}から低次元の表現{z_i}を求めること。
 つまり{m\times d}の埋め込み行列{T}を用いて、{z_i=Tx_i}として{z_i}を求めること。

f:id:upura:20170704135846p:plain

主成分分析

 次元削減後の表現{z_i}{x_i}の正射影であるという制約の下で、{z_i}{x_i}となるべく近くなる埋め込み行列{T}を決定する。
 下線部は{TT^\mathrm{T}=I}と行列を用いて表現できる。
 このとき{z_i}{x_i}は次元が違うので、単純に比較できない。そのため{z_i}に左から{T^\mathrm{T}}をかけて{T^\mathrm{T}z_i}として次元を揃える。
 これらの差{|T^\mathrm{T}z_i-x_i|=|T^\mathrm{T}Tx_i-x_i|}を最小化するような{T}を求めることになる。