基于hadoop的云详单系统的设计与实现

《基于hadoop的云详单系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号；ＴＰ３１１．５单位化码：１０１８３研究生学号；２０１３５３Ｗ６１６密级；公开古林大学硕女学位论义专业緣位（）基于Ｈａｄｏｏｐ斯宏详单系统的设计与实现ＤｅｓｉｇｎａｎｄＩｍｐｉｅｍｅｎｔａｔｉｏｎｏｆｃｌｏｕｄｃａｌｌｄｅｔａｉｌｅｄｒ巧ｃｏｒｄｓｙｓｔｅｍｂａｓｅｄｏｎＨａｄｏｏｐ作者姓名：何巧颖类剔；工程硕ｉ领域巧向：）软件工穫指导教师：刘衍巧教授培养单位：软件学院２０１６年１２月基于化ｄｏｏｐ的云详单系统的设计与实

2、现ｌｌｌｌｄｅｔａｉｅｄＤｅｓＩｌｔｉｏｎｏｆｃｏｕｄｃａｉｇｎａｎｄｍｐｅｍｅｎｔａｒｅｃｏｒｄｓｙｓｔｅｍｂａｓｅｄｏｎＨａｄｏｏｐ作者姓名：何巧颖专业名称：软件工程指导教师：刘衍巧教授学位类别：在职工程硕±答辩日期：２０１６年１１月巧日未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进巧任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此

3、限）。否则，应承担侵权的法律责任。吉林大学硕±学位论文原创性声明．本人郑重声明：所呈交的硕±学位论文，是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名日期：２０１６年１２月６日摘要摘要基于Hadoop的云详单系统的设计与实现详单系统是运营商和用户沟通的桥梁

4、之一，详单系统的用户体验度关系到用户对运营商业务的满意程度。因此，低延迟、高可靠的详单系统是运营商追逐的目标，稳定可靠的详单系统不仅可以避免因为系统出现故障引起的损失，同时也增加了用户的满意度和系统的可信度。在云计算技术日益成熟的今天，各种云技术被应用到生产生活当中，Hadoop计算框架作为基本的云计算平台之一，以其低成本、高扩容性、高处理性能赢得了广大的用户群体。传统的详单系统采用基于本地文件系统的方式来存储详单数据，一个文件保存的数据量巨大，且文件系统的结构定制化程度较高，一般与实际的业务耦合度较低，

5、在查询时甚至需要遍历整个文件才能找到用户所要的信息，这就致使用户等待的时间过长。其次在传统的详单系统中，数据查询、数据导入等操作都部署在同一台服务器上，导致服务器负载过大，稳定性得不到保障，容易引起业务突然中断等问题。针对详单系统中出现的问题和运营商的实际需求，本文提出了一种基于Hadoop的云详单系统的设计，重点是用户的查询操作和统计分析操作，采用Storm实时计算框架处理采集到的用户信息，可靠性高且延迟低，能够源源不断的处理数据信息。处理之后的数据分为两部分保存，一份保存在NoSQL数据库HBase中

6、，依托其按列存储的特性能快速为用户查询操作提供反馈结果，另一份保存在HDFS（HadoopDistributedFileSystem）文件系统中，用来为Hive做统计分析时提供数据支撑。本系统的设计能够I摘要利用低廉的服务器组成集群，拥有低成本、高扩容、高处理性能等优势，为运营商在高业务量的背景下不断改进用户的服务质量奠定了坚实基础。关键词：详单系统，Hadoop框架，HBase数据库，数据处理IIAbstractAbstractDesignandImplementationofcloudcalldeta

7、iledrecordsystembasedonHadoopThecalldetailedrecordsystemisoneofthebridgebetweencommunicationserviceoperatorandusers,userexperienceofcalldetailedrecordsystemisrelatedtothesatisfactionofcommunicationserviceoperator'sbusiness.Therefore,low-latency,highlyreli

8、ableofcalldetailedrecordsystemisthemovingtargetoftheoperatorschased,calldetailedrecordreliablesystemnotonlyavoidedthelosscausedbysystemfailureoccurred,aswellasincreasedusersatisfactionandsystemreliability.Inthecloud