资源描述：
《数据挖掘概念与技术CHAPTER6-分类ClassAdva》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、1Chapter6.分类:AdvancedMethods贝叶斯信念网络后向传播分类ClassificationbyBackpropagation支持向量机SupportVectorMachinesClassificationbyUsingFrequentPatternsLazyLearners(orLearningfromYourNeighbors)其他分类方法AdditionalTopicsRegardingClassificationSummary2贝叶斯信念网络Bayesianbeliefnetworks(又称为Bayesiannetworks,pro
2、babilisticnetworks):允许变量子集间定义类条件独立(有向无环)因果关系的图模型表示变量间的依赖关系给出了一个联合概率分布XYZPNodes:随机变量Links:依赖关系X,Y是Z的双亲,YistheparentofPZ和P间没有依赖关系没有环3贝叶斯信念网络:AnExampleFamilyHistory(FH)LungCancer(LC)PositiveXRaySmoker(S)EmphysemaDyspneaLC~LC(FH,S)(FH,~S)(~FH,S)(~FH,~S)0.80.20.50.50.70.30.10.9CPT:Condi
3、tionalProbabilityTableforvariableLungCancer:显示父母的每个可能组合的条件概率从CPT推倒X的特定值得概率4训练贝叶斯网路:几种方案Scenario1:给定网络结构和所有变量观察：只计算CPTScenario2:网络结构已知,某些变量隐藏:梯度下降法(贪心爬山),i.e.,沿着准则函数的最速下降方向搜索解权重初始化为随机值每次迭代中,似乎是对目前的最佳解决方案前进，没有回溯每次迭代中权重被更新，并且收敛到局部最优解Scenario3:网络结构未知,所有变量可知:搜索模型空间构造网络拓扑Scenario4:未知结构,隐
4、藏变量:目前没有好的算法D.Heckerman.ATutorialonLearningwithBayesianNetworks.InLearninginGraphicalModels,M.Jordan,ed..MITPress,1999.5Chapter6.分类:AdvancedMethodsBayesianBeliefNetworksClassificationbyBackpropagationSupportVectorMachinesClassificationbyUsingFrequentPatternsLazyLearners(orLearningf
5、romYourNeighbors)OtherClassificationMethodsAdditionalTopicsRegardingClassificationSummary6用反向传播分类反向传播:一种神经网络学习算法最早是由心理学家和神经学家开创的，开发和测试神经元计算模拟神经网络:一组连接的输入/输出单元，其中每个连接都与一个权重关联通过调整权重来学习,能够输入元组的正确类别标号又被称为连接者学习connectionistlearning7神经网络作为分类器弱点学习时间很长需要很多参数（常靠经验确定）,如网络的结构可解释性差:很难解释权重和网络中“
6、隐藏单元”的含义优势对噪音数据的高承受能力分类未经训练的模式的能力非常适合处理连续值的输入/输出成功地应用于现实数据,e.g.,手写字符识别算法是固有并行的已经发展了一些从训练好的神经网路提取规则的技术8多层前馈神经网络输出层输入层隐藏层OutputvectorInputvector:Xwij9多层前馈神经网络网络的输入对应于每个训练元组的测量属性输入同时传给称作输入层的单元加权后同时传递给隐藏层隐藏层的数目是任意的,通常只有一个最后一个隐藏层的输出权重后作为输入传递给称为输出层，此处给出网络的预测前馈feed-forward:权重都不反馈到输入单元或前一层
7、的输出单元从统计学观点,网络进行一个非线性回归；给定足够的隐藏单元和训练数据,可以逼近任何函数10定义网络拓扑确定网络拓扑:给定输入层的单元数,隐藏层数(if>1),每个隐藏层的单元数,输出层的单元数规格化训练元组的输入值[0.0—1.0]对于离散值，可重新编码，每个可能的值一个输入单元并初始化0输出,如果涉及超过两个类别则一个输出单元对应一个类别一旦一个训练好的网络其准确率达不到要求时，用不同的网络拓扑和初始值重新训练网络11反向传播Backpropagation迭代地处理训练数据&比较网络的预测值和实际的目标值对每个训练元组,修改权重最小化目标的预测值和
8、实际值之间的meansquarederror这种修改
