第二章优化设计的数学基础.pptx

方向导数和偏导数之间的关系，从下述推导可知类似的，一个三元函数在点处沿d方向的方向导数和偏导数的关系如下所示，见图2-22、二元函数的梯度`三、向多元函数的推广函数f(x1,x2，,xn)在x0(x1,x2，,xn)处的梯度可定义为函数f(x1,x2，,xn)在x0处沿d的方向导数可表示为d方向上的单位向量梯度f(x0)的模为梯度方向单位向量为，它与函数等值面f(x)=c相垂直，也就是和等值面上过x0的一切曲面相垂直，如图2-5所示。2.2多元函数的泰勒（Taylor)展开式2.3无约束优化问题的极值条件2.4凸集与凸函数与凸规划2.5等式约束优化问题的极值条件一、消元法1）二元函数只有一个等式约束minf(x1，x2)s.t.h(x1，x2)=0处理方法：将x1表示为x1=(x2),并代入目标函数中消去x1,变成一元函数F(x2),则等式约束优化问题变为无约束优化问题。目标函数二维变一维,故称降维法。2）n维情况minf(x1，x2，，xn)s.t.hk(x1，x2，，xn)=0(k=1,2,l)由l个约束方程将n个变量中的前l个变量用其余n-l个变量表示，有x1=(xl+1,xl+2,,xn)x2=(xl+1,xl+2,,xn)xn=(xl+1,xl+2,,xn)将这些函数关系代入到目标函数中，得到只含有xl+1,xl+2,,xn共n-l个变量的函数F(xl+1,xl+2,,xn),从而利用无约束优化问题的极值条件求解。（因为将l个约束方程联立往往求不出解来，实际上难于求解）二、拉格朗日乘子法通过增加变量将等式约束优化问题变成无约束优化问题。对于minf(x)s.t.hk(x)=0(k=1,2,l)在极值点x*处有(k=1,2,l)令可通过其中的l个方程(a)来求解l个待定系数1，2，，l，使得l个变量的微分dx1,dx2,，dxl的系数全为零。于是得到则有(b)(j=l+1,l+2,,n)式（a),(b)及等式约束条件hk(x)=0(k=1,2,l)就是点x达到约束极值的必要条件。式（a),(b)可以合并写成(i=1,2,,n)（c）令式中待定系数k称为拉格朗日乘子，F(x,)称为拉格朗日函数。本方法称为拉格朗日乘子法。把F(x,)作为一个新的无约束条件的目标函数来求解它的极值点，所得结果就是满足约束条件的原目标函数的极值点。自F(x,)具有极值的必要条件：可得l+n个方程。由这些方程组求得函数f(x)的极值点x*=[x1*x2*xl*]T.例2-4用拉格朗日乘子法计算极值点坐标f(x1，x2)=4x12+5x22s.t.h(x1，x2)=2x1+3x2-6=0解：F(x,)=4x12+5x22+(2x1+3x2-6)Fx1=8x1+2=0x1=-/4Fx2=10x2+3=0x2=-3/10F=2x1+3x2-6=0=-30/7所以得x1=1.071，x2=1.286此即为所求极值点x*.2.6不等式约束优化问题的极值条件一、一元函数在给定区间上的极值条件一元函数在给定区间[a,b]上的极值问题，可写成如下的不等式约束问题minf(x)s.t.g1(x)=a-x0g2(x)=x-b0采用拉格朗日乘子法，将上述两个不等式约束变为等式约束h1(x,a1)=g1(x)+a12=a-x+a12h2(x,b1)=g2(x)+b12=x-b+b12并得到拉格朗日函数F(x,a1,b1,1,2)=f(x)+1h1(x,a1)+2h2(x,b1)1,2为对应于不等式约束条件的拉格朗日乘子，10,20根据拉格朗日乘子法，此问题的极值条件是对于一元函数f(x)在给定区间[a,b]上的极值条件，式(a)中的第一式可简化为由以上分析可知，对应于不起作用约束的拉格朗日乘子取零值。因此可以引入起作用约束的下标集合J(x)={j|gj(x)=0,j=1,2}。当a<x*<b时，两个约束均不起作用，故有J(x*)=,1=2=0。当x*=a时，第一个约束起作用，故有J(x*)={1},10，2=0。当x*=b时，第二个约束起作用，故有J(x*)={2},1=0，20。于是可将式(a)改写成如下形式：也就是说，在极值条件中只考虑起作用的约束及相应的拉格朗日乘子。二、库恩-塔克条件对于多元函数不等式约束优化问题minf(x)s.t.gj(x)0(j=1,2,m)同样可以应用拉格朗日乘子法推导出相应的极值条件。为此，需要引入m个松弛变量使不等式约束gj(x)0(j=1,2,m)变成等式约束gj(x)+xn+j2=0(j=1,2,m),从而组成相应的拉格朗日函数。其中，是对应于不等式约束的拉格朗日乘子向量