主成分分析在旋轉(zhuǎn)變換中等價于選取離樣本點的距離平方和最小的軸,作為第一主成分,第二主成分的選取,在保證與已選坐標(biāo)軸正交的條件下,類似的進行。
上方右圖是主成分分析的幾何解釋。主成分分析要求在新的坐標(biāo)軸中方差最大,即意味著,對于樣本點A,B,C,投影到y(tǒng)1上得到A',B',C',OA'2 + OB'2 + OC'2最大。
等價于樣本點到y(tǒng)1軸的距離的平方和AA'2 + AB'2 + AC'2最小。所以,主成分分析在旋轉(zhuǎn)變換中等價于選取離樣本點的距離平方和最小的軸,作為第一主成分,第二主成分的選取,在保證與已選坐標(biāo)軸正交的條件下,類似的進行。
算法過程:
主成分分析,首先要對給定數(shù)據(jù)進行規(guī)范化,使得每一變量的平均值為0,方差為1,然后順序地找一組相互正交的坐標(biāo)軸。
其中,第一個新坐標(biāo)軸選擇是原始數(shù)據(jù)中方差最大的方向,第二個新坐標(biāo)軸選取是與第一個坐標(biāo)軸正交的平面中使得方差最大的,第三個軸是與第1,2個軸正交的平面中方差最大的。