基于hadoop平台的受限玻尔兹曼机并行化研究

《基于hadoop平台的受限玻尔兹曼机并行化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据中图分类号：UDC：学校代码：10055密级：公开卷筒犬淫硕士学位论文基于Hadoop平台的受限玻尔兹曼机并行化研究ParallelResearchofResstrictedBoltzmannmachineBasedon论文作者陈星Hadoop南开大学研究生院二。一四年五月万方数据南开大学学位论文使用授权书根据《南开大学关于研究生学位论文收藏和利用管理办法》，我校的博士、硕士学位获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在《著作权法

2、》规定范围内的学位论文使用权，即：(1)学位获得者必须按规定提交学位论文(包括纸质印刷本及电子版)，学校可以采用影印、缩印或其他复制手段保存研究生学位论文，并编入《南开大学博硕士学位论文全文数据库》；(2)为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文摘以及论文全文浏览、下载等免费信息服务：(3)根据教育部有关规定，南开大学向教育部指定单位提交公开的学位论文；(4)学位论文作者授权学校向中国科技信息研究所和中国学术期刊(光盘)电子出版社提交规定范围的学位论文及其

3、电子版并收入相应学位论文数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。论文电子版提交至校图书馆网站：http：／／202．113．20．161：800l／index．htm。本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。作者暨授权人签字：睦星201

4、4年06月03日南开大学研究生学位论文作者信息论文题目基于Hadoop平台的受限玻尔兹曼机并行化研究姓名陈星学号2120110339答辩日期2014年05月19日论文类别博士口学历硕士√硕士专业学位口高校教师口同等学力硕士口院／系／所计算机与控制工程专业计算机系统结构联系电话15102213561Emailcxin912@163．com通信地址(邮编)：天津市塘沽区泰达学院5区301(300450)备注：是否批准为非公开论文否注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写(一式两份)签字后交校图书馆，非公开学位

5、论文须附《南开大学研究生申请非公开学位论文审批表》。万方数据南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：隧星2014年06月03Et非公开学位论文标注说明(本页表中填写内容须打印)根据南开大学有关规定，非公开学位论文须经指导

6、教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级口限制(≤2年)口秘密<≤10年)口机密(≤20年)保密期限20年月日至20年月日审批表编号批准日期20年月日南开大学学位评定委员会办公室盖章(有效)注：限制★2年(可少于2年)：秘密★10年(可少于10年)：机密★20年(可少于20年)万方数据摘要受限玻尔兹曼机是一种无监督学习方法，它具有强大的无监督学习能力，其广泛应用于聚类、分类、协同过滤等机器学习问题。当训练样本数据量很大时，受限玻尔兹曼机会产生训练时间过

7、长的问题，并行化是解决此类问题的有效方式之一。Hadoop是一种用于大规模数据处理的典型分布式系统。其具有易于并行编程和扩展性良好等优点，被广泛用于信息检索、数据挖掘等研究领域。基于Hadoop的受限玻尔兹曼机并行化是有意义的研究方向之一。本文通过分析受限玻尔兹曼机的模型结构，得出受限玻尔兹曼机可以较高效地在Hadoop上实现并行化。受限玻尔兹曼机的训练过程需要计算每层的状态值和更新连接权重矩阵。本文将每层状态值的计算作为一个job，层中每个节点状态值的计算作为一个task。一个job由多个task组成。由于这些task是并行

8、执行的，所以该方法实现了每层状态值计算的并行化。连接权重矩阵的更新采用同样的方法并行化。在连接权重的更新过程中存在某次更新后的连接权重远离最优值的现象。产生这种现象的原因是更新中用到的梯度有方向，在计算中表现为正负。本文提出一种改进方法，该方法并行计算梯度值为正负时的两种结果