经典正态线性回归模型

出处：按学科分类—经济 经济科学出版社《西方经济学大辞典》第258页（1664字）

与[经典线性回归模型]相比，该模型增加了对随机扰动项的正态假定，即假定

u_i～N(0，σ²)

(1)正态假定的合理性：因为u_i代表了大量没有引入回归模型的独立变量的联合影响，这些影响既是微小的，又是随机的，根据数理统计学的中心极限定理，可以假定为正态分布。

(2)正态假定的必要性：用普通[最小二乘法]对[经典线性回归模型]进行参数估计时，得到的是点估计量；要知道这些点估计量的可靠程度，必须求出其[置信区间]，这就要求知道估计量的概率分布。对扰动项作正态假定后，β、Y及σ²等估计量的分布都可推导出来，从而为构造它们的置信区间铺平道路。 (谢方)

最大似然法(method of maximum likelihood)

设随机变量ξ具有密度函数f(x；θ₁，θ₂，…，θ₁)，此处x为ξ的观测值，θ₁，θ₂，…，θ₁为参数。

若(x₁，x₂，…，x_n)是样本(ξ₁，ξ₂，…，ξ_n)的一个观测值，那么(ξ₁，ξ₂，…，ξ_n)落在点(x₁，x₂，…，x_n)的邻域里的概率为

最大似然法的基本思想是：样本(ξ₁，ξ₂，…，ξ_n)

一次落在点(x₁，x₂，…，x_n)的邻域里的概率，一定是所有#中最大的。

对回归模型Y=Xβ十u应用最大似然法时，似然函数为

此处p(Y_i)表示Y_i的概率密度，若Y_i服从正态分布，则：

为求极值方便，对似然函数求对数

解方程组

得到最大似然估计量#(其中e=Y－Xβ)。

可以看出，β的最大似然估计量与最小二乘估计量完全相同，σ²的最大似然估计量略有不同，它在小样本时是有偏估计量，大样本时是一致估计量。 (谢方)

置信区间(confidence interval)

设总体分布有一参数β，根据样本计算其估计量为β，对于给定的正数α(0＜α＜1)，找出另一正数δ，使

P(β－δ≤β≤β+δ)=1－α

成立，那么区间[β－δ，β+δ]称为β的100(1－α)%置信区间。其中1－α称置信度(degree of confidence)，常用百分数表示为100(1－α)%。

上式表明，由样本观测值构造的置信区间包含真值β的概率为1－α，所以[β－δ，β+δ]又称为β的区间估计式。

由最小二乘法得到的是回归方程系数的点估计式，进一步推导出的系数方差和扰动项方差也都是点估计式。

仅由点估计式无法判断其可靠程度，而区间估计式则补充了这一不足。区间估计式指出了真值落在该区间内的概率。

置信区间也用于[假设检验]，称置信区间法。如果原假设给出的β值落在置信区间外，那么我们就拒绝原假设，接受备择假设。