资源描述：
《一种自动确定参数的sIB算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第30卷第6期计算机学报Vol.30No.62007年6月CHINESEJOURNALOFCOMPUTERSJune2007一种自动确定参数的sIB算法1)1)2)3)叶阳东刘东贾利民LIGang1)(郑州大学信息工程学院计算机科学系郑州450052)2)(北京交通大学轨道交通控制与安全国家重点实验室北京100044)3)(迪肯大学信息技术学院维多利亚澳大利亚)摘要针对sIB算法的压缩变量参数的确定问题,采用最小描述长度原理,构建一种自动确定参数的AsIB算法.算法使用一种有效的编码方案对数据分析模型和相应的数据进
2、行描述,将最小描述长度的模型作为选择标准,从而有效发现了数据蕴含的特征模式数目.实验表明:AsIB算法所采用的编码方案有效,在不设定模式数目的情况下,能够正确发现数据集所蕴含的模式.该算法解决了现sIB算法对先验知识的依赖问题,将能拓展其在多维数据的自动降维分析和模式提取等方面的应用.关键词IB理论;sIB算法;AsIB算法;最小描述长度原理;模型选择中图法分类号TP18AnsIBAlgorithmforAutomaticallyDeterminingParameter1)1)2)3)YEYang-DongLIUD
3、ongJIAL-iMinLIGang1)(DepartmentofComputerScience,SchoolofInformationEngineering,ZhengzhouUniversity,Zhengzhou450052)2)(StateKeyLaboratoryofRailTrafficControlandSafety,BeijingJiaotongUniversity,Beijing100044)3)(SchoolofInformationTechnology,DeakinUniversity,221
4、BurwoodHighway,Vic3125,Australia)AbstractTosolvetheproblemofdeterminingthecompressionvariableparameterforsIBalgo-rithm,thispaperproposesanAsIBalgorithmforautomaticallydeterminingparameterbasedonminimumdescriptionlengthprinciple.Anefficientencodingschemeisdesig
5、nedtoestimatethedescriptionlengthofthesolutionmodelofsIBalgorithmandtheoriginaldatagiventhemodelre-spectively,andtheminimumdescriptionlengthmodelisselectedasacriteriontofindthenumberoffeaturepatternshiddenindataset.ExperimentresultsshowthattheencodingschemeinA
6、sIBisefficienttorecoverthetruefeaturepatternindatasetwithouttherequirementofsettingcatego-rynumberoffeaturepattern.AsIBalgorithmremovesthedependencyofempiricalknowledgeforsIBalgorithm,whichwidensitsapplicationsinareassuchasautomaticdimensionreductionandpattern
7、extraction,etc.KeywordsIBtheory;sIBalgorithm;AsIBalgorithm;minimumdescriptionlengthprinciple;modelselection[1]出一种基于信息论的数据分析方法)))IB方法1引言(TheInformationBottleneckMethod).该方法通过将数据对象压缩到一个事先定义好的/瓶颈0变量中1999年,Tishby、Pereira和Bialek开创性地提极大地保持其与另一数据对象的相关性,有效地发收稿日期:2006-
8、03-31;修改稿收到日期:2007-01-26.本课题得到国家自然科学基金(600332020)和河南省自然科学基金(0411012300)资助.叶阳东,男,1962年生,博士,教授,博士生导师,研究领域为知识工程、智能系统、数据库.E-mail:ieydye@zzu.edu.cn.刘东,男,1981年生,硕士,研究方向为机器学习.贾利民,男,1963年生
