向量矩阵偏导数(机器学习深度学习基础)

《向量矩阵偏导数(机器学习深度学习基础)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、矩阵的导数运算1.矩阵Y=FCr)对标量x求导相当于每个元素求导数df、人X)dxdYdxdx水2⑺dx",22⑺dxdf»dfm2(x)dxdxdfMdx也，⑴dx參e"/腿⑺dx2.标量J对列向量x求导注意与上面不同，这次括号内是求偏导，mxl向量求导后还是mxl向量9%,dx.y=/(x)dx3.行向量yT对列向量x求导注意lxn叫W:对mxl向:W:求导后足mxn矩阵。将y的每一列对X求偏导，将各列构成一个矩阵df_=dxdfn(x)dx}办;u)dx0•••3x,dx2•••dx}弘⑺...■dx2•••參•參a/2u)df„M•••dxdx…重要结论：dxTd,=c/

2、(Ax)dxLtnIT=A7'mm4.列向量y对行向量xT求导转化为行向ftyT对列向fix的导数，然后转賈。注意mxl向量对Ixn向量求导结果为mxn矩阵。dx}%（义）a/2⑺dx,•♦dx’參參♦狀u)♦•參••.1重要结论:dx^Z(Ax)dxr=A5.向量积对列向量x求导运算法则注意与标量求导有点不同。J(uzV)dx抑’)dx重要结论:J(x7x)_df(x7)xdxdxdxd(xTAx')-dx-d(xT)dx•Ax+J(xrAr)dxx=(A+Ar)x6.矩阵Y对列向量x求导将Y对x的每一个分量求偏导，构成一个超向量。注意该向量的每一个元素都是一个矩阵。raFi¥

3、=F(x)^~dx~9%,3Fdx23F^>x,n••uXabc，x=Vy•d&fVPza7^a7l^a7&5/ar5/l^5/&?§^?§l^?§¥f§lfsf§l^^&^f§ac^aclf§^lf§^av^law生r§r§A;r§‘aylr§s^sl如A-i-IcMuaylar5.标量y对矩阵X的导数类似标量y对列向量的导数，把y对每个X的元素求偏导，不用转置df_JLdf...■^11^X12Iidf...如21••3x22番番dX2n•參•參•JL番i•參df•••■九i九2dydX重要结论:J(urXv)dXd(uTXTXu)2XuudX雜u-v)r(Xu-v)l=2

4、(Xu-v)u’6.矩阵Y对矩阵X的导数将Y的每个元素对X求导，然后排在一起形成超级矩阵例设盖法则，有y2yx22xyx，,根据(12)矩阵对列向重求导5(2xy)吩2)'^y00"d2AdxdXdX2x2y1dX2~a(?)a(2初dx2x1_dXdXdX_02x0_，根据(15)矩阵对矩阵求导法则，有T矩阵、向量求导法则•是《维行向重，X是元素，则di列向患时元素求导睡■電如1^19v••是例维列向重，X是元素，则=■•■dxy说W2•••dx设y（3）矩陶｝元素求导ymi'yjfif（4）元素对行向呈求导（5）元素对列向呈求导是矩阵，X是元素，则ay如11dx•■办1。.•

5、.■■dx.dxdx%］是（7维行向重，则a?dxxdx是"维列向重，则g=3xx_£dx.（6）元素对矩阵求导^11是pxq矩阵，则QX如11■9y么1(12)矩阵付列向重求导>n…乃/A设r=■■■■••是矩阵，X=••■ywn_是维列向量，则97i»dY9?dywidx~aTa?(13)行向翻矩阵求导^iiT•是《维行向重，JSf是px矩阵，则dy9yr3vdxdx(14)列向虽?求导9ydx"1~dX■dyK~dx、1_■■^11…~書••是例维列向量，z=••■■••■人-人1…是px(7矩阵，则[X1(15)矩阵对矩阵求导>11…/[riXiX11…xlq设卜■■■■

6、■■—■■■是？《X«矩阵，=•••••••人1…y观一vr•TJfi〜•••y列xj是t?x(7矩阵，则9YdYdYav9Xldx>r3yf"dX■dxx■書ay:9y:dx3Xi«?