主成分分析与因素分析的区别

昨天听老师讲到主成分分析，没有弄明白主成分分析与因素分析有什么区别。因为整个过程都是很相似的，把多个变量析出少量的几个factor。于是回去看了《Using multivariate Statistics》，发现上面讲到了几点区别：
1、数学上的区别：主成分分析要分析所有观察变量的方差；而因素分析只分析共享方差，试图估计和去除误差导致的方差和每个变量独有的方差。
2、理论上的区别：二者的区别主要在于变量与因子或成分联系起来的原因。因素分析认为分子是变量的原因， 内在的构念（即因子）产生了变量上的得分。所以探索性因素分析的问题是：导致变量之间存在关系的潜在过程是什么？而验证性因素分析的问题是：变量值间的关系与假设的因子结构是否一致。而主成分分析则认为，成分只是相关的变量的简单集合，即是变量产生了成分。并不存在关于什么变量应该与什么因子相联系的潜在的理论，所以用来表示成分的任何标签只是与成分相关的一些变量的结合的方便描述，并不反映什么潜在的过程。