常用矩阵微分公式.pdf

《常用矩阵微分公式.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、常用矩阵微分公式1.函数相对于实值向量的梯度函数以实值向量为变元。1.1实值函数相对向量的梯度矩阵实值函数fx()相对于n×1行向量x的梯度为n×1的行向量，定义为T∂fx()∂∂fxfx()()∂fx()=,,,=∇fx()x∂∂∂xxx∂x12n∂∂∂向量梯度算子：∇=,,,x∂∂xx∂x12nm维行实值向量函数fx()=[fxfx(),(),,()fx]12m∂∂fxfx()()∂fx()12m,,,∂∂xx∂x111∂fxfx()∂()∂fx()12m∂fx(),,,∂=∂∂xx2

2、2∂x2=∇xfx()x∂∂fxfx()()∂fx()12,,,m∂∂xx∂xnnn1.2运算法则(1)线性法则：若fx()和gx()分别是向量x的实值函数，c和c为实常数，则12∂+[cfxcgx12()()]∂∂fx()gx()=cc+12∂x∂∂xx(2)乘积法则：若fx()和gx()分别是向量x的实值函数，则∂[fxgx()()]∂∂fx()gx()=gx()+fx()∂x∂∂xx(3)商法则：gx()0≠∂[fxgx()/()]1∂∂fx()gx()=gx()−fx()2∂xgx()∂∂xx(4)链式

3、法则：若yx()是x的向量值函数，则T∂fyx(())∂∂yxfy()()=∂x∂∂xy1.3基本公式xy,为向量，xxx=[,,,]x,yyy=[,,,]y。12n12nA和y为与x无关，A为矩阵，I为单位矩阵。∂c(1)=0，c为常数。∂xT∂x(2)=I∂xT∂xx(3)=2x(自己证的，不一定对)∂xTTT∂∂∂xxxyyx证明：=+=+==yyyx22∂∂∂xxx注：这里y是一个中间代换量。TT∂∂xxxIx注：=∂∂xx∂AxT(4)=A∂x∂∂Ax∂∂AxTT,,xAxATTT证明：====A∂∂xx∂∂xx注：Ax可以被认为是

4、一个向量函数。TT∂∂xAyx(5)=Ay=Ay∂∂xxTTT∂∂yAxxAyT(3)==Ay∂∂xx证明：TTTTTTTyAx=(Ayx)=Ayx,,=xAy=yAxT∂(xAx)T(4)=Ax+Ax∂xT∂(xAx)当A为对称阵时，有=2Ax∂xTT证明：xAx相当于复合函数的微分。x和x是与同一变量有关但不同的函数，对一个变量求微分时另一个变量保持不变，可以将保持不变的x替换成与无关的向量y，由公式(2)和(3)即可得证。TT注：x不是相对于x的函数，而是相对于x的函数。(5)若n×1向量a是与x无关的常数向量，则TT∂∂axxa=aa,=

5、∂∂xx2.实值函数相对于实值矩阵的梯度函数以实值矩阵为变元。2.1实值函数相对实值矩阵的梯度矩阵实值函数fA()相对于mn×实矩阵A的梯度为一mn×矩阵，简称梯度矩阵，定义为∂∂fAfA()()∂fA(),,,∂∂AA∂A11121n∂∂fAfA()()∂fA()∂fA(),,,=∂∂AA∂A∂A21222n∂∂fAfA()()∂fA(),,,∂∂AA∂Am12mmn2.2运算法则(1)线性法则：若fA()和gA()分别是矩阵A的实值函数，c和c为实常数，则12∂+[cfAcgA12()()]

6、∂∂fA()gA()=cc+12∂A∂∂AA(2)乘积法则：若fA()和gA()分别是矩阵A的实值函数，则∂[fAgA()()]∂∂fA()gA()=gA()+fA()∂A∂∂AA(3)商法则：gA()0≠∂[fAgA()/()]1∂∂fA()gA()=gA()−fA()2∂AgA()∂∂AA(4)链式法则：若yA()是A的矩阵值函数，则T∂fyA(())∂∂yAfA()()=∂A∂∂AA2.3基本公式∂c(1)c为常数，则=0。mn×∂Amn×××m11n(2)若ARxRyR∈∈∈,,，则T∂xAyT=xy∂Amn×mn××11(3

7、)若AR∈非奇异，xRyR∈∈,，则T−1∂xAy−−TTT-1T−T=−=AxyA,A(A)∂Amn×n×1(4)若AR∈，xyR,∈，则TT∂xAAyTT=Axy()+yx∂Amn×m×1(5)若AR∈，xyR,∈，则TT∂xAAyTT=()xy+yxA∂A(6)指数函数的梯度T∂exp(xAy)TT=xyexp(xAy)∂A3.迹函数的梯度矩阵2.1迹和矩阵、向量的关系1.二次型TTTfx()=xAx=trxAx()=trAxx()TTT说明：二次型目标函数xAx等于其核矩阵A和向量外积xx的乘积的迹(trAxx())。2.矩阵和迹TAA,

8、=AA2TTAA,=A=trAA()()=trAA23.向量和迹TTTxy=trxy()()=tryx说明：这个关系很重要，可以简单推导