熵及条件熵的相关定理及其证明.doc

《熵及条件熵的相关定理及其证明.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、熵及条件熵的相关定理及其证明设出属性集合和={}导出的对论域的划分分别为和，则有如下定理成立：定理。定理3.2设是一个论域，是若则（逆并不成立）。定理3.3设是一个论域，是且，若，则。定理3.4设是一个论域，是上的一个属性集合，中的一个属性是不必要的，其充分必要条件为。推论3.1中的一个属性是必要的必要条件为＞0。定理3.5设是一个论域，是上的一个属性集合，是的一个约简的充分必要条件为，且对任意的都有＞0。由定理3.3、定理3.4和定理3.5可知，对于属性约简而言，信息熵表示形式与代数表示形式是等价的

2、。可以从信息熵的角度来研究属性约简问题，但上述定理还仅仅是针对一般信息表的约简问题（绝对约简）而言的。对于决策表的相对约简问题，文献[11]证明了如下定理。定理3.6设是一个论域，是上的一个属性集合，为决策属性，且论域是在上相对于{}一致的，则中的一个属性是相对于决策属性不必要的（多余的），其充分必要条件为。证明：首先令，。因为论域是在上相对于{}一致的，即，所以是的细分，有，必要性：假设属性是相对于决策属性不必要的，则，所以是的细分。令则故。充分性：假设令，则至少存在和，使得Ø且Ø。因此＞0相矛盾。

3、故假设不成立，则有成立。根据相对约简的定义知，属性是相对于决策属性不必要的。定理3.7设是一个论域，是上的一个条件属性集合，为决策属性，且论域是在上相对于一致的。则是相对于决策属性独立的，其充分必要条件为对于中任意属性都有成立。定理3.8设是一个论域，是上的一个条件属性集合，为决策属性，且论域是在上相对于一致的。则是相对于决策属性的一个约简的充分必要条件为，且是相对于决策属性独立的。为了找出某些属性或属性集合的重要性，需要从属性集合中去掉一些属性，再来考察没有该属性后分类会发生什么变化。若去掉该属性分

4、类情况改变较大，说明该属性重要性高，反之重要性低。可以想见，属性的重要性可以用正域来衡量。定理3.7和定理3.8的证明，根据定理3.6和相对独立与相对约简的定义是容易得到的。由定理3.6定理3.7和定理3.8可以知道，对于不包含不一致信息的决策