(3)矩阵分析与应用

《(3)矩阵分析与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、4月机器学习算法班：矩阵分析与应用程博士julyedu.com程博士4月机器学习算法班：矩阵分析与应用julyedu.com1/401序言2线性代数基本知识(新视角)3特征分解(凸优化中的重要技术)4SingularValueDecomposition(SVD)分解与应用(万能矩阵分解)程博士4月机器学习算法班：矩阵分析与应用julyedu.com2/40个人介绍与心得(讲述)讲课的各个部分均相互关联，全是干货，绝非孤立的点，注意捕捉！这两天讲课思路，和国内的教材的思路有很大区别！是国内课堂里听不到的！很

2、多讲述的东西并不在PPT上，注意听课！暂时先不要问这些东西可以在机器学习中用到哪儿？这样只能让你的脑子里一堆割裂、孤立的知识点。数学是一个完整的体系，整体把握非常重要，理解透彻的程度决定你能走多远！脑子里暂时忘记机器学习！我不是在念公式，一个公式都不要背，全部靠真正的理解，理解的东西才是你的！基础不太好的同学一定要上实时课，跟着我的思路去思考，打通你的思维！只看录像收获不会很大，看完即忘！本节课PPT正文每页答疑！程博士4月机器学习算法班：矩阵分析与应用julyedu.com3/40本次课讲课思路(板书讲

3、述)程博士4月机器学习算法班：矩阵分析与应用julyedu.com4/40部分使用的数学符号表nRn维实空间Rmnmn的实矩阵集合T转置det(A)行列式C(A)列空间N(A)零空间A1逆diag(a)将向量转化为对角矩阵Tr迹(trace)rank秩程博士4月机器学习算法班：矩阵分析与应用julyedu.com5/40示例表红色框表示非常重要的定理或内容定理或内容，仔细弄明白绿色框表示具体的例子举例，会举一反三程博士4月机器学习算法班：矩阵分析与应用julyedu.com6/401序言2线性代数基

4、本知识(新视角)3特征分解(凸优化中的重要技术)4SingularValueDecomposition(SVD)分解与应用(万能矩阵分解)程博士4月机器学习算法班：矩阵分析与应用julyedu.com7/40重新看待矩阵和Ax=b矩阵绝不是把一堆数用括号括起来！本课件中，假设A2Rmn。21x1=(1)11y5

5、{z}

6、{z}

7、{z}A2R22x2R2b2R2232323211u5446054v5=425(2)272w9

8、{z}

9、{z}

10、{z}A2R33x2R3b2R3程博士4月

11、机器学习算法班：矩阵分析与应用julyedu.com8/40Ax=b的行视图行视图

12、凸优化中的超平面2xy=1x+y=5(3)程博士4月机器学习算法班：矩阵分析与应用julyedu.com9/40Ax=b的列视图列视图

13、矩阵列的线性组合。思考：所有的线性组合是？211x+y=(4)115程博士4月机器学习算法班：矩阵分析与应用julyedu.com10/40线性相关和线性无关线性相关(Lineardependence)：矢量集[a1;:::;an]是线性相关的，如果ånca=0，当且仅当c

14、;c;:::;c6=0。即，至少有一个向k=1kk12n量，al可以由其它向量线性表出：1nal=cåk=1;k6=lckak(5)l线性无关(Linearindependence)：矢量集[a1;:::;an]是线性无关的(即不是线性相关的)，如果ånca=0，当且仅当c;c;:::;c=0k=1kk12n定义A=[a1;:::;an]，则Ax=0只有x=0，没有其它的线性组合能产生0。此时矩阵A可逆。程博士4月机器学习算法班：矩阵分析与应用julyedu.com11/40线性相关和线性无关(举例)举

15、例23121A=[a1;a2;a3]=40315线性无关，why?00123123B=[b1;b2;b3]=40335线性相关，why？112程博士4月机器学习算法班：矩阵分析与应用julyedu.com12/40Span、基和子空间(Subspace)Span：nmspan[a1;:::;an]=y2Rjy=åk=1ckak=SIA=[a1;:::;an]的所有线性组合。此时，如果[a1;:::;an]线性无关的，则它们是S的一组基(basis)。正交基是指aTa=0。ijIS可以有不同的一组

16、基，但是基里向量的个数是相同的，被称为S的维数(dimension)，等于rank(A)。一个子空间用一组基就可以表示了！2322323312312A=40335,S=span4405;4355，思考还有其它基吗？00000程博士4月机器学习算法班：矩阵分析与应用julyedu.com13/40四个基本的子空间(1)mn1列空间(Columnspace)（值域、Span）：C(A)是R(notR)的子空间I定义：包含所有列的线