模糊决策树ppt课件.ppt

《模糊决策树ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模糊决策树主讲人：高相辉河北大学机器学习中心主要内容清晰决策树属性两种不确定性及其度量模糊决策树模糊规则模糊推理分类问题训练样例条件属性(Sky,AirTempHumidity,…)决策属性(EnjoySport)属性取值(对于Sky:Suny,Rainy)(对于EnjoySport:Yes,No)ExampleSkyAirTempHumidityWindWaterForecastEnjoySport1SunnyWarmNormalStrongWarmSameYes2SunnyWarmHighStrongWarmSameYes3RainyColdHighSt

2、rongWarmChangeNo4SunnyWarmHighStrongCoolChangeYes分类问题示例：Aldo进行水上运动的日子决策树简介YesOutlookHumidityWindNoYesNoYesSunnyOvercastRainHighNormalStrongWeak结点：属性边：属性值叶子结点：类别决策树表示方法YesOutlookHumidityWindNoYesNoYesSunnyOvercastRainHighNormalStrongWeakIF-THEN规则：IFOutlook=SunnyANDHumidity=HighTHENP

3、layTennis=No……基本的决策树学习算法主要内容：（1）ID3算法（2）熵(Entropy)（3）信息增益(InformationGain)熵(Entropy)ID3算法的核心问题：如何选取属性？{Outlook,Temperature,Humidity,Wind}一组样本S对于二元分类的熵为：其中p+和p-为S中的正例、反例所占比例。例子：S中有9个正例，5个负例熵(Entropy)信息增益属性的信息增益是按该属性分割后熵的消减期望值：其中Sv是S中属性A值为v的子集。ID3算法选择信息增益最大的属性来分裂当前结点。连续值属性连续属性的离散化：对于

4、连续值的属性A，算法可动态地创建一个新的布尔属性Ac，如果A

5、多概念是模糊的，没有明确的两极边界，例如在日常生活中的厚薄、快慢、大小、长短、轻重、高低、稀稠、贵贱、强弱、软硬、锐钝、深浅、美丑等等都是模糊概念。传统的集合理论对这类概念的划分显得无能为力。1965年，美国工程师L.A.Zadeh提出了模糊集合论，有了模糊集合论，计算机就可以跨越两极的黑白边界，在“灰色”中间地带发挥作用，从而提供更符合现实情况的答案。模糊集合用模糊集合来描述模糊概念属性：身高属性值：高，矮----语言术语两种不确定性一般认为，不确定性可以分为两大类：一类是统计上的不确定性(StatisticalUncertainty)，一类是人类认识、思

6、维、感觉、推理等上的不确定性(CognitiveUncertainty)。人类认知上的不确定性还能够深入分为两个子类：模糊性(Vagueness)不可指定性(Ambiguity)两种不确定性模糊性是现实世界中关于作出精确决定的一类难题，比如一些应用领域中的某些利益关系不能够用清晰的边界划分开来。不可指定性是关于一对多的关系，诸如一个选择面临的两个或者多个的情形。不确定性度量模糊决策树模糊决策树是传统决策树的一种推广。它将模糊理论应用于训练与匹配过程，结合了决策树的可理解性和模糊集合的表示能力，用来处理模糊性和不确定信息，使决策树具有更好的健壮性，提高了决策树

7、的可理解性，并使决策树归纳算法的扩展能力增强。具有代表性的模糊决策树生成算法是：Umano提出的FuzzyID3算法Yuan和Shaw提出的Min-Ambiguity算法模糊决策树Yuan和Shaw提出的算法是基于Min-Ambiguity即不确定性的减少建立决策树，它基于可能性分布模型。FuzzyID3算法采用基于模糊熵的信息增益的启发式算法，这种启发式的目的是根据最大的信息增益值（最小模糊熵）选择扩展属性，使得生成树的平均规模最小，它基于概率分布模型。模糊决策树的归纳过程模糊决策树的归纳过程由以下步骤组成：(1)数据预处理；(2)归纳建立决策树；(3)把

8、得到的模糊决策树转换成一组模糊规则；(4)把得到的模