基于条件对数似然函数导数的贝叶斯网络分类器优化算法

《基于条件对数似然函数导数的贝叶斯网络分类器优化算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３５卷第２期计算机学报Ｖｏｌ．３５Ｎｏ．２２０１２年２月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＦｅｂ．２０１２基于条件对数似然函数导数的贝叶斯网络分类器优化算法王中锋王志海（北京交通大学计算机与信息技术学院北京１０００４４）摘要通常基于鉴别式学习策略训练的贝叶斯网络分类器有较高的精度，但在具有冗余边的网络结构之上鉴别式参数学习算法的性能受到一定的限制．为了在实际应用中进一步提高贝叶斯网络分类器的分类精度，该文定量描述了网络结构与真实数据变量分布之间的关系，提出了一种不存在冗余边的森林型贝叶斯网络分类器及其相应的ＦＡＮ学习算法（

2、ＦｏｒｅｓｔＡｕｇｍｅｎｔｅｄＮａｖｅＢａｙｅｓＡｌｇｏｒｉｔｈｍ），ＦＡＮ算法能够利用对数条件似然函数的偏导数来优化网络结构学习．实验结果表明常用的限制性贝叶斯网络分类器通常存在一些冗余边，其往往会降低鉴别式参数学习算法的性能；森林型贝叶斯网络分类器减少了结构中的冗余边，更加适合于采用鉴别式学习策略训练参数；应用条件对数似然函数偏导数的ＦＡＮ算法在大多数实验数据集合上提高了分类精度．关键词机器学习；数据挖掘；分类器；贝叶斯网络；鉴别式训练策略中图法分类号ＴＰ１８犇犗犐号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１２．００３６４犃狀犗狆

3、狋犻犿犻狕犪狋犻狅狀犃犾犵狅狉犻狋犺犿狅犳犅犪狔犲狊犻犪狀犖犲狋狑狅狉犽犆犾犪狊狊犻犳犻犲狉狊犫狔犇犲狉犻狏犪狋犻狏犲狊狅犳犆狅狀犱犻狋犻狅狀犪犾犔狅犵犔犻犽犲犾犻犺狅狅犱ＷＡＮＧＺｈｏｎｇＦｅｎｇＷＡＮＧＺｈｉＨａｉ（犛犮犺狅狅犾狅犳犆狅犿狆狌狋犲狉犪狀犱犐狀犳狅狉犿犪狋犻狅狀犜犲犮犺狀狅犾狅犵狔，犅犲犻犼犻狀犵犑犻犪狅狋狅狀犵犝狀犻狏犲狉狊犻狋狔，犅犲犻犼犻狀犵１０００４４）犃犫狊狋狉犪犮狋Ｉｎｇｅｎｅｒａｌ，Ｂａｙｅｓｉａｎｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｔｒａｉｎｅｄｂｙｄｉｓｃｒｉｍｉｎａｔｉｖｅｓｔｒａｔｅｇｙｈａｖｅｈ

4、ｉｇｈｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｔｈａｎｏｔｈｅｒｓ．Ｈｏｗｅｖｅｒ，ｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｄｉｓｃｒｉｍｉｎａｔｉｖｅｐａｒａｍｅｔｅｒｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｉｓｌｉｍｉｔｅｄｉｎｄｅａｌｉｎｇｗｉｔｈｒｅｄｕｎｄａｎｔｅｄｇｅｓ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｉｎａｒｅａｌｓｉｔｕａｔｉｏｎ，ｉｎｔｈｉｓｐａｐｅｒｗｅｄｅｓｃｒｉｂｅｔｈｅｑｕａｎｔｉｔａｔｉｖｅｒｅｌａｔｉｏｎｓｂｅｔｗｅｅｎＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓｔｒｕｃｔｕ

5、ｒｅｓａｎｄｊｏｉｎｔｐｒｏｂａｂｉｌｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎｓ，ｐｒｏｐｏｓｅａＦｏｒｅｓｔＡｕｇｍｅｎｔｅｄＮａｖｅＢａｙｅｓｃｌａｓｓｉｆｉｅｒａｎｄｉｔｓｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ．ＡｎＦＡＮｃｌａｓｓｉｆｉｅｒｉｓａｋｉｎｄｏｆＢａｙｅｓｉａｎｎｅｔｗｏｒｋｗｈｏｓｅｓｔｒｕｃｔｕｒｅｈａｓｆｅｗｒｅｄｕｎｄａｎｔｅｄｇｅｓ，ａｎｄＦＡＮａｌｇｏｒｉｔｈｍｉｓｏｐｔｉｍｉｚｅｄｂｙｐｒｏｐｅｒｔｉｅｓｏｆｐａｒｔｉａｌｄｅｒｉｖａｔｉｖｅｓｏｆｃｏｎｄｉｔｉｏｎａｌｌｏｇｌｉｋｅｌｉｈｏｏｄ．Ｅｘｐｅｒｉｍｅｎ

6、ｔａｌｒｅｓｕｌｔｓｈａｖｅｓｈｏｗｎｔｈａｔｒｅｄｕｎｄａｎｔｅｄｇｅｓｉｎｔｈｅｓｔｒｕｃｔｕｒｅｏｆａＢａｙｅｓｉａｎｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｃｏｕｌｄｄｅｇｒａｄｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｉｎｃｏｍｍｏｎｓｉｔｕａｔｉｏｎ，ａｎｄｍｏｓｔｏｆｒｅｓｔｒｉｃｔｅｄＢａｙｅｉｓｉａｎｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｈａｖｅｒｅｄｕｎｄａｎｔｅｄｇｅｓ．Ｔｈｅｒｅｆｏｒｅ，ＦＡＮｃｌａｓｓｉｆｉｅｒｗｉｔｈｏｕｔｒｅｄｕｎｄａｎｔｅｄｇｅｓｉｓｓｕｉｔａｂｌｅｆｏｒｄｉｓｃｒｉｍｉｎａｔｉｖｅｐａ

7、ｒａｍｅｔｅｒｌｅａｒｎｉｎｇｓｔｒａｔｅｇｙ．Ｏｎｍｏｓｔｏｆｄａｔａｓｅｔｓ，ｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｉｅｓｏｆｃｌａｓｓｉｆｉｅｒｓｔｒａｉｎｅｄｂｙＦＡＮａｌｇｏｒｉｔｈｍａｒｅｅｎｈａｎｃｅｄ．犓犲狔狑狅狉犱狊ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ；ｄａｔａｍｉｎｉｎｇ；ｃｌａｓｓｉｆｉｅｒ；Ｂａｙｅｓｉａｎｎｅｔｗｏｒｋ；ｄｉｓｃｒｉｍｉｎａｔｉｖｅｔｒａｉｎｉｎｇｓｔｒａｔｅｇｙ收稿日期：２００９０２２３；最终修改稿收到日期：２０１１０６１２．本课题得到国家自然科学基金（６０６７３０８９，６０９７３０１１）

8、资助．王中锋，男，１９７７年生，博士研究生，主要研究方向为数据挖掘和模式识别．Ｅｍａｉｌ：ｉｅｗｚｆ＠１６３．ｃｏｍ．王志海（通信作者），男，１９６３年生，教授，博士生导师，主