[转] 方差分析简介（四）方差分析的三种模型

方差分析主要有三种模型：即固定效应模型（fixed effects model），随机效应模型（random effects model），混合效应模型（mixed effects model）。

所谓的固定、随机、混合，主要是针对分组变量而言的。
固定效应模型，表示你打算比较的就是你现在选中的这几组。例如，我想比较3种药物的疗效，我的目的就是为了比较这三种药的差别，不想往外推广。这三种药不是从很多种药中抽样出来的，不想推广到其他的药物，结论仅限于这三种药。“固定”的含义正在于此，这三种药是固定的，不是随机选择的。
随机效应模型，表示你打算比较的不仅是你的设计中的这几组，而是想通过对这几组的比较，推广到他们所能代表的总体中去。例如，你想知道是否名牌大学的就业率高于普通大学，你选择了北大、清华、北京工商大学、北京科技大学4所学校进行比较，你的目的不是为了比较这4所学校之间的就业率差异，而是为了说明他们所代表的名牌和普通大学之间的差异。你的结论不会仅限于这4所大学，而是要推广到名牌和普通这样的一个更广泛的范围。“随机”的含义就在于此，这4所学校是从名牌和普通大学中随机挑选出来的。
混合效应模型就比较好理解了，就是既有固定的因素，也有随机的因素。
一般来说，只有固定效应模型，才有必要进行两两比较，随机效应模型没有必要进行两两比较，因为研究的目的不是为了比较随机选中的这些组别。

从回归模型的角度来理解方差分析

看到一篇文章里详细讲了如何通过哑变量来用回归模型理解方差分析。

方差分析与回归分析是统计学中重要的方法, 在方差分析中, 自变量是分类变量; 在回归分析中, 自变量可以是连续变量、等级变量、分类变量。事实上, 方差分析可以被看成是回归分析的一个特例, 这一点可以通过定义合适的哑变量来理解。
例如单因素方差分析中, 比较k 组总体均数, 可以拟合下面的回归模型(设置k - 1 个哑变量) :
Y = μ+ а1X 1+ а2X 2+ ⋯+ аk - 1X k- 1+ E

如赋值哑变量, 则有:
μ1= μ+ а1　　　(group1: X 1= 1 X 2= 0⋯X k- 1= 0)
μ2= μ+ а2　　　(group2: X 1= 0 X 2= 1⋯X k- 1= 0) 　　
　　　 　　　　
μk- 1= μ+ аk- 1　　(groupk- 1: X 1= 0 X 2= 0⋯X k- 1= 1)
μk= μ　　　(groupk: X 1= 0 X 2= 0⋯X k- 1= 0)
则:
а1= μ1- μk
а2= μ2-μk

аk- 1= μk- 1- μk
μ= μk
对于k 个总体均数的方差分析H 0: μ1= μ2= ⋯μk- 1= 0, 等同于对模型(5) 做假设检验H 0: а1= а2= ⋯аk- 1= 0 , 不同之处在于哑变量的赋值方法不同, 回归系数а1, а2, ⋯аk- 1的含义不同。同样, 随机区组设计的方差分析, 两因素的方差分析也可以通过设置哑变量的方式纳入到回归分析的框架中来。通过设置哑变量我们可以从回归的角度来理解方差分析。

《哑变量在统计分析中的应用李丽霞》　　郜艳晖　　张　瑛

主成分分析与因素分析的区别

昨天听老师讲到主成分分析，没有弄明白主成分分析与因素分析有什么区别。因为整个过程都是很相似的，把多个变量析出少量的几个factor。于是回去看了《Using multivariate Statistics》，发现上面讲到了几点区别：
1、数学上的区别：主成分分析要分析所有观察变量的方差；而因素分析只分析共享方差，试图估计和去除误差导致的方差和每个变量独有的方差。
2、理论上的区别：二者的区别主要在于变量与因子或成分联系起来的原因。因素分析认为分子是变量的原因， 内在的构念（即因子）产生了变量上的得分。所以探索性因素分析的问题是：导致变量之间存在关系的潜在过程是什么？而验证性因素分析的问题是：变量值间的关系与假设的因子结构是否一致。而主成分分析则认为，成分只是相关的变量的简单集合，即是变量产生了成分。并不存在关于什么变量应该与什么因子相联系的潜在的理论，所以用来表示成分的任何标签只是与成分相关的一些变量的结合的方便描述，并不反映什么潜在的过程。