1.2 主成分分析的性质[1]

1.2.1从协方差矩阵出发求解主成分

引论 设矩阵A^'=A，将A的特征值λ_1，λ_2，⋯，λ_n依大小顺序排列，不妨设λ_1≥λ_2≥⋯≥λ_n，γ_1，γ_2，⋯，γ_p为矩阵A各特征值对应的标准正交特征

向量，则对任意向量x，有

(max)┬(x≠0)⁡〖(x^' Ax)/(x^' x)=λ_1 〗，(min)┬(x≠0)⁡〖(x^' Ax)/(x^' x)=λ_n 〗

结论 设随机变量X=〖(X_1，X_2，⋯，X_P)〗^'的协方差矩阵为Σ，λ_1≥λ_2≥⋯≥λ_p为Σ的特征值，γ_i为矩阵A的特征值λ_i，i=1，2，⋯，p对应的正交标准特征向量，则第i个主成分为：

Y_i=γ_1i X_1+γ_2i X_2+⋯+γ_pi X_(p ),i=1，2，⋯，p

此时

var（Y_i ）=〖γ_i〗^' Σγ_i=λ_i

cov（Y_i，Y_j ）=〖γ_i〗^' Σγ_j=0，i≠j

令P=(γ_1，γ_2，⋯，γ_p )，Λ=diag（λ_1，λ_2，⋯，λ_p）.

根据以上的结论，可以把X_1，X_2，⋯，X_p的协方差阵Σ的非零特征值λ_1≥λ_2≥⋯≥λ_p>0对应标准化的特征向量γ_1，γ_2，⋯，γ_p分别作为系数向量，Y_1=〖γ_1〗^' X ,Y_2=〖γ_2〗^' X ,…, Y_p=〖γ_p〗^' X分别称为随机变量X的第一、第二……第p主成分.Y的分量Y_i，i=1，2，⋯，p依次是X的第一、第二……第p主成分的充分必要条件是：

（1）Y=P^' X ，即P为p阶正交阵；

（2）Y的分量间彼此不相关，即D(Y)=diag（λ_1，λ_2，⋯，λ_p）；

（3）Y的p个分量是按方差大小排列的，即λ_i≥λ_j，i，j=1，2，…，p.