最优回归设计

出处：按学科分类—自然科学总论 北京出版社《现代科技综述大辞典上》第102页（3211字）

回归分析是解决实际问题的－种重要方法。

回归方程性能的好坏取决于试验点的选择。随着科学技术的发展，从20世纪50年代末开始，人们研究如何从数理统计的意义上比较不同的试验设计和建立最优回归设计的问题。在最优回归设计领域中，美国J．Kiefer进行了开创性的工作，J．Kiefer和J．Wolfowitz首先给出了倍受赞美的关于G－最优性和D－最优性的“等价定理”，为最优回归设计的理论发展奠定了基础。

在以后的发展过程中，大致形成以J，Kiefer和G．E．P．Box为首的英、美学派和莫斯科大学教授V．V．Fedorov为首的前苏联学派。

英、美学派的学者强调研制应用问题的方法，而前苏联学者着重研究最优回归设计的数学理论和应用问题的算法。

按数学模型的类型来划分，最优回归设计可分成关于参数的线性回归和非线性回归的最优设计。非线性回归最优设计，还处于理论探讨阶段，在实际中应用很少。线性回归模型的一般形式为

这里，y是随机变量，u是可控向量，θ=(θ₁，θ₂，…，θ_k)^T是待估计的参数向量，τ是未知的“不感兴趣”的参数，f_i(u)(i=1，2，…，k)是给定的关于u的函数，E表示期望算符，此外，不失一般性，还假设

Var(y｜u，θ，τ)=τ

问题是：要估计θ的线性函数，试验设计应如何，才能使这种估计在一定的意义下是最优的?

J．Kiefer首先将实际应用的离散试验设计问题推广成连续测度设计问题，把试验区域上的一个试验设计看成是上的一个连续概率测度分布ξ。对于试验区域上给定的回归模型，令M(ξ)表示试验设计ξ的信息矩阵，而最优回归设计的目标是：在所有的设计ξ中，找出使实泛函φ｛M(ξ)｝达最大的，

这里，Φ是由最优性准则确定的凹性实泛函。

根据实际问题，人们提出了各种各样的最优性准则，常用的有

(1)D_－最优性 使设计的信息矩阵行列式达最大，

(2)D_A－最优性 设A^T是一个给定的秩为s(s＜k)的矩阵，使设计ξ^*满足

(3)D_S－最优性 是D_A－最优性中A^T=(I_s0)的特殊情况，这里，I_s表示s阶单位阵。

(4)E_－最优性 使设计ξ^*满足

(5)A_－最优性 使设计ξ^*满足

这里，t_r(·)表示迹(trace)运算。

(6)G_－最优性 令x表示设计导出空间H内的一点，使设计ξ^*满足

J．Kiefer和S．D．Silvey等利用非线性分析中的Frèchet导数为工具，建立了最优回归设计的理论体系，其主要结果可表述为下面的两个定理：

定理1 令表示设计的信息矩阵的集合，Φ｛M(ξ)｝是定义在上的凹泛函，则设计ξ^*是Φ_－最优的充要条件是：对所有的设计测度ξ，都有

这里，F_Φ｛M₁，M₂｝表示关于泛函Φ的在M₁处沿M₂方向的Frèchet导数。

定理2 设Φ是上的凹泛函，且在M(ξ^*)处可微，则ξ^*是Φ－最优设计的充要条件是

F_Φ｛M(ξ^*)，xx^T｝≤0，对所有的

对于信息矩阵是非奇异阵的情况，已得到判别某个设计是Φ_－最优的充分条件，而且对于大部分常用的最优性准则，此充分条件也是必要条件。但是，对于一般性的最优性准则，所得的充分条件是否也是必要条件，此问题有待解决。

对于实际的试验设计问题，为了得到Φ_－最优设计测度，需要给出特殊的算法。

在计算技术迅速发展的今天，人们已转向利用计算机通过数值方法来构造Φ_－最优设计测度，求Φ－最优设计测度的数值算法是从一个非退化的设计开始，通过叠代运算来得到渐近最优设计测度或最优设计测度。

按其叠代步长来划分，主要有两种算法：每一步骤都采取最优步长的Fedorov算法(V－算法)与采取固定步长的Wynn算法(W_－算法)。此外，适应于各种情况，还有很多其它的算法，例如，交换算法等。

从实用角度看，与连续测度设计相比，一个更为实际的最优回归设计问题是Φ_n－最优设计问题：对于试验区域上指定的回归模型和予先指定的试验次数n，求试验次数为n并且按Φ_－最优准则来衡量是最优的试验计划ξ_n。对于Φ_n－最优设计问题，连续最优设计的基本定理(定理1和定理2)不再成立。

构造适用于电子计算机来寻找Φ_n－最优设计的算法，仍然是人们考虑的一个重要问题。

现在，最优回归设计中受到人们关注的一个问题是寻找兼顾多个最优准则的最优设计。兼顾某些指定的最优准则的最优设计，其充要条件已被得到。继续扩充这些研究成果，以及针对某些常用的回归模型具体地给出兼顾多个最优准则的最优设计，仍需继续研究。

更一般地，人们提出所谓的“泛最优设计问题”：求设计ξ_*，它的信息矩阵M(ξ^*)能使任意的凹性最优准则泛函达最大。关于“泛最优设计”的性质已有一些结果。但是，对于给定试验区域上的回归模型，如何判别“泛最优设计”是否存在，以及如果存在如何给出仍需要研究。

对于同时考虑定量因子和定性因子的情况，为减少试验次数，可采用“简化的定量因子和定性因子的直积模型”。

针对这类模型，如何给出试验次数少而且性能优良的设计，是人们关注的一个热点。另一个研究热点将是(关于参数)非线性回归模型，如何给出某种最优意义下的最优设计。

。【参考文献】：

1 Fedorov V V. Theory of optimal experiments. New York; Academik Press. 1972

2 Silvey S D . Optimal design. London: Chapman and Hall, 1980

3 Steinberg D M, et al. Technometrics, 1984,m26 :71～130

4 Atkinson A C. International Statistical Review, 1988,56 (2):99～115

5 Dodge Y, et al. Optimal design and analysis of experi-ments. North -Holland, 1988

(东北大学关颖男教授撰)