数据挖掘算法_计算机软件及应用_IT计算机_专业资料

《数据挖掘算法_计算机软件及应用_IT计算机_专业资料》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、分类Classification:分类是指将目标对象按照不同的标记进行分组，所有的标记都是已知的，这些对彖往往都具冇不同的特点。也就是说对于一个classifier,通常需要你告诉它“这个东西被分为某某类”这样一些例子。理想情况F,一个classifier会从它得到的训练集屮进行“学习”，从而具备对未知数据进行分类预测的能力，这种捉供训练数据的过程通常叫做supervisedlearning(IIS督学习)。应用场景：银行贷款安全和风险、信用卡持卡用户进行分类KNN算法：K最邻近分类算法(K-NearestNeighbor),最简单的机器学习算法之

2、一。思路是：如果一个样木在特征空间屮的k个最札I似的样木屮的人多数属于某个类，则该样木也属于某个类别。如上图所示，绿色圆要被决定赋予哪个类，是红色三介形还是蓝色四方形？如果23,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类，如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。决策树分类算法ID3：ID3算法是由Quinlan首先提出的。该算法是以信息论为基础，以信息爛和信息增益度为衡量标准，从而实现对数据的归纳分类。具体流程如下：输入：样本集合S,属性集合A输出：ID3决策树⑴若所有种类的属性都处理完毕，返回：否

3、则执行2⑵计算出信息增益最大属性a,把该属性作为一个节点，如果仅凭属性a就可以对样本进行分类，则返回；否则执行3。⑶对属性a的每个可能的取值v,执行下一操作：①将所有属性a的值是v的样本作为S的一个子集Sv；②生产新的属性集合AT=A-{a}③以样木集合Sv和属性集合AT为输入，递归执行id3算法。分类系统的信息嫡和信息增益：对分类系统來说，类别C是变量，可能的収值是Cl,C2,C3......Cn,而每个类别出现的概率为P(C1),P(C2),P(C3)…P(Cn),N就是系统的类别，因此分类系统的嫡代表包含系统所冇特征属性时系统的信息量(爛)，

4、就可以表示为：nH(C)=一》P(CJxlog2PG)；P(CJ即类别Ci出现的概率i=l对分类系统来说，一个特征属性，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带來的信息量，即信息增益。系统包含特征属性时的信息量冇了,那么就要求系统不包含该特征属性时的信息量，这个问题等价于系统包含了特征属性X,但特征属性X已经固定不能变化时的信息量，此时的信息量即条件爛需要用特征属性X每个可能的值出现的概率来表示：H(C

5、X)=P〔H(C

6、X=xl)+P2H(C

7、X=x2)+…+PnH(C

8、X=xn)=》PiH(C

9、X=XJi=l具体

10、到分类系统，分类系统的特征属性T的固定值t只可能取两个值(即t出现或t不出现)，例如湿度这个特征属性的固定值(高)只可能取两个值，即高要么出现，要么不出现。H(C

11、T)=P(t)H(C

12、t)+P(t)H(C

13、t)nn=一P(t)》P(Ci

14、t)xlog2P(Cilt)一P(t)》P(Ci

15、t)xlog2P(Ci©i=li=l因此特征T给系统带来的信息增益就可以写成系统原木的爛与固定特征T后的条件嫡之差：IG(C)=H(C)-H(C

16、T)应用举例：使用ID3分类算法预测未知样本的类标号。给定球队球类比赛结果的训练样本集见下表。根据天气(Outlook

17、),温度(Temperature),湿度(Humidity),风强度(Windy)來判断该球队比赛结果是否会赢。类标号属性比赛结果具有两个不同值｛Win,Lose)0设Cl对应于类Result“Win”，而C2对应于类Result二“Lose”。使用ID3分类算法来预测样本为的情况下，比赛的输赢结果。DayOutlookTemperatureHumidityWindresult1SunnyHotHighWeakLose21SunnyHo

18、tHighStrongLose31OvercastHotHighWeakWin4JRainMildHighWeakWin5RainCoolNormalWeakWin6RainCoolNormalStrongLose7JOvercastCoolNormalStrongWin8SunnyMildHighWeakLose9SunnyCoolNormalWeakWin10RainMildNormalWeakWin11SunnyMildNormalStrongWin12OvercastMildHighStrongWin13OvercastHotNormalW

19、eakWin14RainMildHighStrongLose首先，类别是(输赢结果)。取值yes的记录冇9个，取值为no的