Eigen Decomposition 特征分解-

Eigen Decomposition 特征分解EigenDecomposition特征分解1.Significance意义2.EigenvaluesandEigenvectors特征值和特征向量3.MatrixEigendecompositionExpression矩阵特征分解形式4.EigenvalueCalculation特征值计算5.PCAandEigendecomposition主成分分析与特征分解1.Significance意义如果想要描述一个变换，就描述这个变换主要的变化方向提取这个矩阵

Eigen Decomposition 特征分解

1. Significance 意义 2. Eigenvalues and Eigenvectors 特征值和特征向量 3. Matrix Eigendecomposition Expression 矩阵特征分解形式 4. Eigenvalue Calculation 特征值计算 5. PCA and Eigendecomposition 主成分分析与特征分解 6. Terms 专业词语

---

1. Significance 意义

如果想要描述一个变换，就描述这个变换主要的变化方向提取这个矩阵最重要的特征

---

2. Eigenvalues and Eigenvectors 特征值和特征向量

A x = λ x Ax=λx Ax=λx

其中 A A A是一个 n × n n×n n×n的实对称矩阵， x x x是一个 n n n维向量，则我们说 λ λ λ是矩阵 A A A的一个特征值，而 x x x是矩阵 A A A的特征值 λ λ λ所对应的特征向量。

---

3. Matrix Eigendecomposition Expression 矩阵特征分解形式

如果这 n n n个特征向量线性无关，那么矩阵 A A A就可以用下式的特征分解表示：

A = W Σ W − 1 A=WΣW^{−1} A=WΣW−1

其中 W W W是这 n n n个特征向量所张成的 n × n n×n n×n维特征矩阵，而 Σ Σ Σ为这 n n n个特征值为主对角线的 n × n n×n n×n维特征值矩阵。

一般我们会把 W W W的这 n n n个特征向量正交化，让它们满足 ∥ w i ∥ 2 = 1 \|w_i\|^2=1 ∥wi​∥2=1，即 w i T w i = 1 w^T_iw_i=1 wiT​wi​=1。此时 W W W的 n n n个特征向量为标准正交基，满足 W T W = I W^TW=I WTW=I，即 W T = W − 1 W^T=W^{−1} WT=W−1，就说W为正交矩阵。

这样我们的特征分解表达式可以写成

A = W Σ W T A=WΣW^T A=WΣWT

---

4. Eigenvalue Calculation 特征值计算

A x = λ x → A x = λ I x → ( λ I − A ) x = 0 Ax=λx→Ax=λIx→(λI−A)x=0 Ax=λx→Ax=λIx→(λI−A)x=0
根据线性方程组理论，为了使这个方程有非零解，则满足 d e t ( λ I − A ) = 0 det(λI−A)=0 det(λI−A)=0，这个式子也被称为是A的特征方程。

实例：求矩阵A的特征值和特征向量，并把矩阵A特征分解

A = ( 4 1 1 1 2 1 3 2 3 ) A=\left( \begin{matrix} 4& 1& 1\\ 1& 2& 1\\ 3& 2& 3\\ \end{matrix} \right) A=⎝⎛​413​122​113​⎠⎞​

A的特征方程为

∣ λ I − A ∣ = ∣ λ − 4 − 1 − 1 − 1 − 2 − 1 − 3 − 2 − 3 ∣ = ( λ − 6 ) ( λ − 2 ) ( λ − 1 ) \left| \lambda I-A \right|=\left| \begin{matrix} \lambda -4& -1& -1\\ -1& -2& -1\\ -3& -2& -3\\ \end{matrix} \right|=\left( \lambda -6 \right) \left( \lambda -2 \right) \left( \lambda -1 \right) ∣λI−A∣=∣∣∣∣∣∣​λ−4−1−3​−1−2−2​−1−1−3​∣∣∣∣∣∣​=(λ−6)(λ−2)(λ−1)

解得

λ 1 = 6 ， λ 2 = 2 ， λ 3 = 1 λ_1=6，λ_2=2，λ_3=1 λ1​=6，λ2​=2，λ3​=1

当λ=6时

( λ I − A ) v = ( 6 I − A ) v = 0 (λI−A)v=(6I−A)v=0 (λI−A)v=(6I−A)v=0

代入A的特征方程，求解v

[ 2 − 1 − 1 − 1 4 − 1 − 3 − 2 3 ] [ v 1 v 2 v 3 ] = 0 \left[ \begin{matrix} 2& -1& -1\\ -1& 4& -1\\ -3& -2& 3\\ \end{matrix} \right] \left[ \begin{array}{c} v_1\\ v_2\\ v_3\\ \end{array} \right] =0 ⎣⎡​2−1−3​−14−2​−1−13​⎦⎤​⎣⎡​v1​v2​v3​​⎦⎤​=0

基础解系为

v = { v 1 = 5 v 2 = 3 v 3 = 7 v=\begin{cases} v_1=5\\ v_2=3\\ v_3=7\\ \end{cases} v=⎩⎪⎨⎪⎧​v1​=5v2​=3v3​=7​

当λ=2时，基础解系为

v = { v 1 = 1 v 2 = − 1 v 3 = − 1 v=\begin{cases} v_1=1\\ v_2=-1\\ v_3=-1\\ \end{cases} v=⎩⎪⎨⎪⎧​v1​=1v2​=−1v3​=−1​

当λ=1时，基础解系为

v = { v 1 = 0 v 2 = 1 v 3 = − 1 v=\begin{cases} v_1=0\\ v_2=1\\ v_3=-1\\ \end{cases} v=⎩⎪⎨⎪⎧​v1​=0v2​=1v3​=−1​

所以 W W W为

W = [ 5 1 0 3 − 1 1 7 − 1 − 1 ] W = \left[ \begin{matrix} 5& 1& 0\\ 3& -1& 1\\ 7& -1& -1\\ \end{matrix} \right] W=⎣⎡​537​1−1−1​01−1​⎦⎤​

把 W W W正交化得到（这里用matlab计算）

W = [ − 0.5387 0.7258 − 0.4278 − 0.3287 − 0.6486 − 0.6865 − 0.7758 − 0.2292 0.5879 ] W = \left[ \begin{matrix} -0.5387& 0.7258& -0.4278\\ -0.3287& -0.6486& -0.6865\\ -0.7758& -0.2292& 0.5879\\ \end{matrix} \right] W=⎣⎡​−0.5387−0.3287−0.7758​0.7258−0.6486−0.2292​−0.4278−0.68650.5879​⎦⎤​

矩阵 A A A的特征分解为

A = W Σ W − 1 = W Σ W T = [ − 0.5387 0.7258 − 0.4278 − 0.3287 − 0.6486 − 0.6865 − 0.7758 − 0.2292 0.5879 ] [ 6 0 0 0 2 0 0 0 1 ] [ − 0.5387 − 0.3287 − 0.7758 0.7258 − 0.6486 − 0.2292 − 0.4278 − 0.6865 0.5879 ] A=W \varSigma W^{-1} =W\varSigma W^{T} \\ =\left[ \begin{matrix} -0.5387& 0.7258& -0.4278\\ -0.3287& -0.6486& -0.6865\\ -0.7758& -0.2292& 0.5879\\ \end{matrix} \right] \left[ \begin{matrix} 6& 0& 0\\ 0& 2& 0\\ 0& 0& 1\\ \end{matrix} \right] \left[ \begin{matrix} -0.5387& -0.3287& -0.7758\\ 0.7258& -0.6486& -0.2292\\ -0.4278& -0.6865& 0.5879\\ \end{matrix} \right] A=WΣW−1=WΣWT=⎣⎡​−0.5387−0.3287−0.7758​0.7258−0.6486−0.2292​−0.4278−0.68650.5879​⎦⎤​⎣⎡​600​020​001​⎦⎤​⎣⎡​−0.53870.7258−0.4278​−0.3287−0.6486−0.6865​−0.7758−0.22920.5879​⎦⎤​

通过最后的结果，我们可以回顾前面介绍的正交化，目的就是为了简便我们的表达形式。如果我们去算 W W W的逆矩阵 W − 1 W^{-1} W−1，我们就需要存储两个矩阵；如果我们去算 W W W的正交矩阵 W T W^{T} WT，我们只需要存储一个矩阵。

---

5. PCA and Eigendecomposition 主成分分析与特征分解

---

6. Terms 专业词语

eigenvalue 特征值 λ λ λeigenvevtor 特征向量 x x x（ v v v、 u u u）eigen matrix 特征矩阵 W W Weigenvalue matrix 特征值矩阵 Σ Σ Σeigen equation 特征方程 d e t ( λ I − A ) = 0 det(λI−A)=0 det(λI−A)=0