PCA 与 特征值、特征向量

在线计算特征值、特征向量
http://www.yunsuan.info/matrixcomputations/solveeigdecomp.html
特征值、特征向量、特征空间 在线演示:
https://www.matongxue.com/madocs/228.html

一、定义、意义

1、矩阵A(方阵),寻找一个常数λ(可以为复数)和非零向量x,使得Ax=λx。
(使得向量x被矩阵A作用后所得的向量Ax与原向量x平行
则称λ为A的特征值,x为A的特征向量。(关键在于特征向量)

2、一个特征向量所在直线的所有向量都是特征向量,对应到同一个特征值。
所有特征向量组成特征空间(n条直线上的所有向量)。

2、矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中,原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换,不对这些向量产生旋转的效果,那么这些向量就称为这个矩阵的特征向量,伸缩的比例就是特征值。

3、如果把矩阵看作是运动:
特征值就是运动的速度
特征向量就是运动的方向

4、矩阵特征值是对特征向量进行伸缩和旋转程度的度量
实数是只进行伸缩,虚数是只进行旋转,复数就是有伸缩有旋转(分别对应模与辐角)。
其实最重要的是特征向量,从它的定义可以看出来,特征向量是在矩阵变换下只进行“规则”变换的向量,这个“规则”就是特征值。

5、特征值分解
对于矩阵A可以对角化的话,可以通过相似矩阵进行下面这样的特征值分解:
$$A=P\Lambda P^{-1}$$
其中$$\Lambda$$为对角阵,P的列向量是单位化的特征向量。
特征值分解.png
特征值 3,1
特征向量(-0.7071,0.7071) (0.7071,0.7071)

6、矩阵运动特征=特征空间
多次左乘A矩阵后x 变为特征向量方向,变化比例为特征值。
特征值1.JPG
其中似乎有个特征向量(特征值小于1)是用来起到拉回到另一个特征向量线(特征值大于1)上的作用
特征值2.JPG

7、特征值是震动的谱
在理解关于振动的特征值和特征向量的过程中,需要加入复向量和复矩阵的概念,因为在实际应用中,实向量和实矩阵是干不了多少事的。机械振动和电振动有频谱,振动的某个频率具有某个幅度;那么矩阵也有矩阵的谱,矩阵的谱就是矩阵特征值的概念,是矩阵所固有的特性,所有的特征值形成了矩阵的一个频谱,每个特征值是矩阵的一个“谐振频点”。
其实,这个矩阵之所以能形成“频率的谱”,就是因为矩阵在特征向量所指的方向上具有对向量产生恒定的变换作用:增强(或减弱)特征向量的作用。进一步的,如果矩阵持续地叠代作用于向量,那么特征向量的就会凸现出来。

二、性质

1、NxN的方阵总是具有N个特征值,每一个对应一个特征向量。特征值指定特征向量的大小。

2、A的特征值为λ,特征向量为x,则 $$A^n,n \in Z$$的特征值为$$\lambda ^n$$,特征向量不变。

3、$$e^{At}x = e^{\lambda t}x$$
例如求斐波那契数列的通项$$A=\begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}$$

4、相似矩阵有相同特征值(特征向量不同)

5、BA 和 AB 有相同的特征值 (AB、BA相似)

6、$$tr(A)=\lambda_1+\lambda_2+\lambda_3+\cdots$$ (矩阵的迹:对角线元素之和)
$$det(A)=\lambda_1\times\lambda_2\times\lambda_3\times\cdots$$

7、而对于 n x n实对称矩阵,有 n 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。

11、常见线性变换的特征值特征向量
特征值特征向量.jpg

三、求法

$$A=\begin{pmatrix} 2 & 3 \\ 2 & 1 \end{pmatrix}$$
Av=λv
Av-λv=0
(A-λI)v=0
因为v不为零,所以 det(A-λI)=0
$$det \begin{pmatrix} 2-\lambda & 3 \\ 2 & 1-\lambda \end{pmatrix} = 0$$
(2-λ)(1-λ)-3*2=0
λ=-1,4
当λ=-1时
$$\begin{pmatrix} 2 & 3 \\ 2 & 1 \end{pmatrix} \times \begin{pmatrix} x \\ y \end{pmatrix} = -1 \times \begin{pmatrix} x \\ y \end{pmatrix} $$
即2x+3y=-x
2x+y=-y
解得x=-y,任取y=1,得到特征向量
$$\begin{pmatrix} -1\\1 \end{pmatrix}$$
同理λ=4时特征向量为
$$\begin{pmatrix} 3\\2 \end{pmatrix}$$

四、

五、

六、

七、

八、

九、

https://www.jianshu.com/p/09bb4f08f9f6
https://www.jianshu.com/p/e574e91070ad
https://zhuanlan.zhihu.com/p/95836870
https://www.zhihu.com/question/21874816/answer/181864044
https://www.matongxue.com/madocs/228.html
https://blog.csdn.net/fuming2021118535/article/details/51339881

十、

发表新评论