机器学习-05-下

《机器学习-05-下》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习第五讲(下)多维数据处理与维度约简卢志茂维度约简维度约简维度约简概述（1）多种称谓维度规约dimensionalityreduction特征选择featureselection特征提取featureextraction统称降维降低维数，减少类别描述的特征数量维度约简维度约简概述（2）输入的空间输入输出均为二元的情况需要降维吗？维度约简维度约简概述（3）输入的空间神经网络的输入层维度约简维度约简概述（4）降维的好处理想情况下，降维不该是一个独立过程常被看做预处理过程加以考虑降低算法计算复杂度简单模型，方差小，更鲁棒特征少，易解释和学习容易

2、实现可视化听说过维数灾难吗？嘭、嘭维度约简维度约简概述（5）降维的可能性特征描述存在冗余特征变量相互依赖对类别没有表征能力无关的、错误的、表现力弱的……高维空间向低维空间映射多维信息的融合、混合、揉合……还记得数据表的主键吗单键、组合键、全键维度约简维度约简概述（6）常用降维方法特征选择从d维中找出能提供更多信息的k个维子集选择subsetselection特征提取通过变换，找出k个维的新组合主成分分析线性判别分析维度约简子集选择（1）寻找最佳子集最佳子集包括那些对正确率贡献最大的属性（特征）d个变量有2d的个可能子集只能在合理的时间找到一个合

3、理的解主要方法向前选择forwardselection从空集开始添加使误差降低最多的特征向后选择backwardselection逐步删除掉使误差提高很小的特征维度约简子集选择（2）顺序向前选择sequentialforwardselection处理思想F,afeaturesetofinputdimensions,xi,i=1,...,d.E(F)denotestheerrorincurredonthevalidationsamplewhenonlytheinputsinFareused.startwithnofeatures:F=∅.Atea

4、chstep,forallpossiblexi,wetrainourmodelonthetrainingsetandcalculateE(F∪xi)onthevalidationset验证集维度约简子集选择（3）顺序向前选择sequentialforwardselection处理思想Then,wechoosethatinputxjthatcausestheleasterrorE不在减小，则停止E如果变化太小，也可以考虑提前停止维度约简子集选择（4）顺序向前选择sequentialforwardselection该方法的复杂度分析从d到ktrai

5、nandtestthesystemd+(d−1)+(d−2)+···+(d−k)times,whichisO(d2).贪心策略，局部最优不能发现组合特征一次可增加多个，但需更多计算量也可回溯，考察是否要删除某些已添加特征维度约简子集选择（5）顺序向后选择sequentialbackwardselection与添加特征向反，逐个删除特征改进策略与向前方法一样如果预料无效特征多，则向前方法更可取考虑变化最小的特征维度约简主成份分析PrincipalComponentsAnalysis（1）投影方法projectionmethods从d维投影到k(

6、k

7、要最大化方差选择可以造成最大方差的特征Theprincipalcomponentisw1suchthatthesample,afterprojectionontow1,ismostspreadoutsothatthedifferencebetweenthesamplepointsbecomesmostapparent.（放大样本之间的差别）要求

8、

9、w1

10、

11、=1（单位向量）z1=wT1x且Cov(x)=Σ维度约简主成份分析（4）计算过程用拉格朗日方法求极值限制条件对w1求导并令其为0，可以求解w1w1是矩阵Σ的特征向量，α是特征值（本征值）为了使

12、方差最大，选择具有最大特征值的特征向量特征向量形式特征值分解维度约简主成份分析（5）计算过程用拉格朗日方法求极值依次计算第二个主成份并要求与第一个主成