PCA主成分之间相关性问题

同学你好，

PCA算法中的所有PC1，PC2，PC3，PC4...理论上都应该是垂直不相关的，因为PCA的目的就是把很多（彼此之间相关）的变量缩减成少数几个不相关的变量。

各个变量会组成一个至少是三维的空间。主成分之间的“垂直”也是一个空间上的垂直概念，不仅限于二维平面（见原版书图，了解即可不用掌握）。

如果只有两个主成分PC1和PC2，那么这个垂直可以画在一个平面上，如果是三个主成分，那么可以想象一下在一张白纸上先画出一个直角坐标系，然后这时候一条直线垂直穿过这个平面（如下图）。

四个或以上就画不出来了，但是还是一样的原理。

机器学习里各种算法的背后原理不用掌握这么细，一般的考法是给出一个背景，然后问这个背景下应该用哪种算法。从之前的经验来看，考的非常简单。不会去涉及编程或者线性代数/微积分的。