基于云平台的机器学习算法并行化研究与应用

《基于云平台的机器学习算法并行化研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？？、＾，．Ｖ；：響涼；ｉ；爲ｙ雪杉灣Ｉ＇＇‘、学校代码：１０１３５义Ｚ＾一、吉；５ｘｊ遞Ｌ？‘＾衣Ｉ．＇卽夸分类号：《茜岭善Ａ―：；‘￣＾＂－ｆｃｉ：拷冰ｌ：’ｆｆＩ１；‘－．．Ｖ．，＾若ｖｒ＇．古：．旬．Ｖ护Ｖ—如從乂净心，１．兵襄飾解雜！１胃＃硕±学位论文＇戶‘’＇＇Ｖ＇單＇；、＇Ｖ、；、啼．多‘点．．貨攻．ｒ洽棘品．＇苗苗＾祕读．４’刊：令基于宏平台的机器学习？法并行化研究与应用三．？梦＇；．．：．．；

2、々弯－Ｐ＾＼ａｒａｌｌｅｌｒｅｓｅａｒｃｈａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇ＜ａ心ｌｇｏｒｉＵｉｍｂａｓｅｄｏｎｄｏｕｄｌａｔｆｏｒｍ＼＼ｐ戸＿、、＇＜－聲！／於’满雜＇＇－．、：．如：＞．声古祭訪皆Ｔｖｖ‘七非皆！海学科ｎ类：工学ｆ讀参钢＂＿＇，．－级学科：软件工程＇ｆ、杂．｜ｌ？＇？４学科只、专业：软件工程乃苗ｆ，＝研究方向：生巧巧患学’‘。气＇申请人姓名心：巧方方．．為山

3、ｊｊ龄祭巧导巧师姓名：兆华ｇ：幕．户巧義、實＇？．，’今％请心托茄．ｔ－＇皆－Ｖ扛．！｝‘ｖ－一＇‘占．—＊：节ＷＶ，《１．－ｙＭｖ诚／ｉ．托１山一參＇．＇、．＾＾，：合．．：；；？＾若．．、＾／令；＾．汁：安吟：冷．＾亦餐讓鉛，＼於０学校代码＝１１３５论文分类号＝学号：２０Ｕ４０１９０１５研究生类别＝全日制解姨據乂蜂硕±学位论文基于是平台的奶器学习算法并行化研究与应用ＰａｒａｌｌｅｌｒｅｓｅａｒｃｈａｎｄａｐｐＵｃａ村ｏｎｏｆｍａｃｈｉｎ

4、ｅｌｅａｒｎｉｎｇａｌｏｒｉｔｈｍｂａｓｅｄｏｎｃｌｏｕｄｌａｔｆｏｒｍｇｐ学科口类；工学－级学科：软件工程学科、专业：软件工程研究方向：生物信息学申请人姓名：京方方巧导教师姓名：纪兆华—＿六年四月八日独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果，尽我所知，除了文中特别加Ｌ乂标注和致谢的地方外，论文中不包含其他人邑经发表或撰写过的研究成果，也不包含本人为获得内蒙古师范大学或其它教育机构的学位或

5、证书而使用过的材料。本人保证所呈交的论文不侵化国家机密一、商业秘密及其他合法权益。与我同工作的同志对本巧究所做的任何贾献均己在论文中作了明确的说明并表示感谢。签名；曰期：年月。曰ＵＩ（＾关于论文使用授权的说明本学位论文作者完全了解内蒙古师范大学有关保留、使用学位论文的规定：内蒙古师范大学有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅，可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，可米用影印、缩印或扫描等复制手段保存、汇编学位论文，并

6、且本人电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。．馨名如导师签名：梦ｊ皆麥方曰期；年曰ＷＩ＾知内蒙古师范大学硕±学位论文中文摘要随着信息化时代的到来，数据成为了最为宝贵的资源，各行各业可处理的数据Ｗ指数形式增长，包括电子商务网站的各种商务数据、银行的各种业务数据化及生物体的各种基因组数据等等，这种爆炸式的数据增长，。目前平很难在已有的平台中得到有效的处理，Ｈａｄｏｏｐ一台是在大数据中挖掘出有用信息种相对高效率的并行化新技术，使

7、用Ｍａｐ民ｅｄｕｃｅ（ＭＲ）编程框架，数据量越大，这种技术越能体现出其独一特的优势。Ｍ地ｏｕｔ是种开源的机器学习（ＭＬ）算法库属于Ａｐａｃｈｅ社区，基于Ｈａｄｏｏｐ平台的ＭＲ计算框架，为程序开发者提供高效的算法实例。由于机器学习算法基本属于迭代计算，而Ｍ民将中间数据存放在分布式文件处理系统ＨＤＦＳ上，Ｉ／Ｏ资源消耗高的局限（）其具有性。原于Ｍ組ｏｕｔ机器学习库的缺陷，Ｓｐａｒｋ计算框架应运而生，ＳｐａｒｋＲＤＤ一主要基于弹性分布式数据集，ＲＤＤ是分布式内存的个抽象概（）念，降低了Ｉ

8、／Ｏ资源消耗和容错能力的开销。Ｓｐａｒｋ同样可Ｗ搭建在ＨａｄｏｏｐＹＡＲＮ平台上，分布式存储数据。伴随着ＳｐａｒｋＭＬ化的出现，使机器学习算法的并行化研究有了质的提升。本文主要研究基于－ＳａｒｋＭＬ１化的聚类算法Ｋｍｅａｎｓ和分类算法决策树及其组装树随机ｐ－ｍｅａｎｓ森林用来解决单机无法处理的基因组数据问题。Ｋ算法作为数据处理的第一二步，用于找到最佳的类别个数