矩阵微积分及应用

《矩阵微积分及应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、矩阵微积分耿修瑞中国科学院电子学研究所gengxr@sina.com.cn2017.2几个常用例子实值函数相对于实向量的梯度实值函数相对于矩阵的梯度矩阵微分迹函数的矩阵梯度行列式的矩阵梯度Hessian矩阵应用实例中国科学院空间信息处理与应用系统技术重点实验室常用例子-1函数f(x,y)5xy的梯度y8f(x,y)=5(x+y)7x=[xy]T6▽f(x)=[55]Tx54321x+y=2x+y=4x+y=6x+y=8x12345678中国科学院空间信息处理与应用系统技术重点实验室常用例子-2122函数f(x,y)xy的梯度2y8f

2、(x,y)=0.5x2+0.5y27x=[xy]T6▽f(x)=[xy]Tx54321x2+y2=4x2+y2=16x2+y2=36x–8–7–6–5–4–3–2–112345678–1–2–3–4–5–6–7–8中国科学院空间信息处理与应用系统技术重点实验室常用例子-3TTtrZZtrZZ2Z迹函数相对于矩阵的梯度ZZTtr(ZZ)vec2vecZ2zZzvec(Z)TZvecZtrZZFO中国科学院空间信息处理与应用系统技术重点实验室常用例子-4ΖT行列式相对于矩阵的梯度ΖΖ1Ζ

3、y111811111111SZxxx373SZ3737ABCC22yyy336336CABC6T1511111133912Ζ4373373330Ζ3336336404AB2S0000001SBSSSS1330AΖxAxBxC2xSSS404O12345678yAyByC中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量

4、的梯度实值标量函数对于实向量的梯度Tfxfxfxfxfx,,,xxxxx12nfxx1x11.以列向量为自变量的标量函数，其对于自变量的fxx2x梯度仍然为一阶数相同的2fxxfx列向量xx2.梯度的每个分量代表着函数在该分量方向上的变xnfxx化率。n中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量的梯度实值向量函数对于实向量的梯度fxfx,fx,,fx12mf1xf2xfmxxxx1

5、11fxfxfxfxfxfxfx12m1,2,,mfxxxxxx2x2x2xfxfxfx12mxnxnxn1.向量函数对于向量的求导，相当于向量函数中的每一个分量函数对向量求导。2.行向量函数对列向量自变量求导形成矩阵；列向量函数对行向量自变量求导也可以形成矩阵。中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量的梯度T例1f(x)xx1,x2,,xnf(x)xITTnnxxT

6、Tf(x)xInnxxfx()xvecInnxxTfx()xTTvecITTnnxx中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量的梯度例2f(x)AxA1,:xA2,:xf(x)AxAn,:xf(x)AxATTxx中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量的梯度T例3f(x)xAxnnf(x)aijxixji1j1nn与xk相关的项axxkjkjaxxikikji11nnf(x)

7、TTakjxjaikxiA(k,:)xA(:,k)xA(k,:)A(:,k)xxkj1i1f(x)TAxAxx中国科学院空间信息处理与应用系统技术重点实验室实值函数相对于实向量的梯度常用梯度公式及求导法则线性法则cfxcgxfxgx12cc12xxx乘积法则fxgxfxgxgxfxxxx商法则fxgx1fxgxgxfx2xgxxx链式法则Tfgxgx