最小二乘法

出处：按学科分类—经济 经济科学出版社《西方经济学大辞典》第256页（928字）

分为“普通最小二乘法”(Ordinary Least Squares简称OLS)和“广义最小二乘法”(Generalized Least Squares简称GLS)。

普通最小二乘法是适用于[经典线性回归模型]的估计参数的方法。对于经典线性回归方程：

Y=Xβ+u

根据X和Y的样本数据来估计参数β，设估计值为β，则：

Y=Xβ+e

Y的估计值 #，所以e=Y－X β=Y－Y是Y的估计误差。最小二乘法的基本思想是：如果令误差平方和e′e最小，那么估计值#是最接近原值Y的(注意Y和e均为向量，e′表示e的转置)。

由微分学的求极值方法

可推导出：

β=(X′X)^－1X′Y

据[高斯－马尔可夫定理]，对于经典线性回归模型使用普通最小二乘法，所得的参数估计式(即此处的β)是最优线性无偏估计式。

广义最小二乘法适用于违反经典假定的线性回归模型，设模型为：

Y=Xβ+u

假定E(u)=0，E(uu′)=σ²Ω，其中σ²为常数，Ω为n阶对称正定矩阵，包含了异方差和(或)自相关的信息。

经过模型变换和推导，得到β的广义最小二乘估计式为：

β=(X′Ω^－1X)^－1X′Ω^－1Y

据[高斯－马尔可夫定理]，对于违反经典假定的线性回归模型，广义最小二乘估计式(即此处的β)是最优线性无偏估计式。