回归分析

出处：按学科分类—经济 经济科学出版社《西方经济学大辞典》第845页（897字）

用建立数学模型(即回归方程式)来反映变量之间联系规律，从而由自变量数值推测因变量数值的方法。

设有因变量Y(Y亦可能是多个)，若对Y有影响的全部因素即自变量为X₁，…，X_r，即一般有关系式Y=f(X₁，X₂，…，X_r)。但由于种种限制，实际上只能考虑主要变量X₁，…，X_s，(S＜r)，这时就有关系式Y=f^*(X₁+…+X_s)+e，e为随机误差。当X₁，…，X_s选定后，就需要估计f^*及误差e，由此求得的f^*称为Y对X₁，…，X_s的回归函数。

对f^*在形状上不作规定的，为非参数回归；对f^*在形状上假定有一定的数学形式，其中有一些待定参数的，为参数回归。

参数回归中最重要的是线性回归，即f^*是若干未知参数β₁，…，β_p的线性函数：f^*(X₁，…，X_s)=β_jf_j(X₁，…，X_s)，f_j为已知函数。当对Y和X₁，…，X_s作n次试验，得n个方程：Y_i=#β_jf_j^*(X_1i，…，X_si)+e_i(i=1，…，n)。令X_j=f_j^*(X₁，…，X_s)(j=1，…，p)，则有线性模型Y=Xβ+e

随机误差e常被假定服从均值为0(误差无偏性)的正态分布，方差的齐性(D(e_i)=σ²)，及误差独立性(E(e_ie_j)=0)等。只有两个变量X，Y的简单线性模型为Y=β₀+β₁X+e，样本回归直线方程是=b₀+b₁X，b₀、b₁分别是估计的截距与回归系数，其值由最小平方法确定。

根据该方程可对X、Y的关系进行研究，并作预测分析。若置信度为1－α，β₁的置信区间是

S为剩余标准差。给定X₀，相应Y₀的预测区间

当X、Y间呈非线性相关时，一定情况下可作适当的变量替换化为线性关系处理。在多元线性回归的情况下，可利用正交多项式计算，或用逐步回归等方法以追求最优回归方程。