基于mapreduce的销售大数据处理系统

《基于mapreduce的销售大数据处理系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于MapReduce的销售大数据处理系统[摘要]随着近些年来互联网的快速发展，大中小销售企业积累了大量的销售信息，企业有必要对这些信息加以利用，以便对未来的的营销进行预测。然而，目前的数据库无法对如此大量的数据进行有效的利用。针对这种大数据环境中数据处理的窘境，本文为某零售企业构建了一个基于Hadoop平台的分布式销售大数据处理系统，利用平台的MapReduce框架初步实现了统计和排序等基本功能。[关键词]大数据HadoopMapReduce统计SalesBigDataprocessingSystemBasedonMapReduc

2、e[Abstract]WiththerapiddevelopmentoftheInternetinrecentyears,salesofmediumandsmallenterpriseshaveaccumulatedalotofsalesinformation,companiesneedtotakeadvantageofthisinformation,inordertopredictthefutureofmarketing.However,thecurrentdatabaseofsuchlargeamountsofdatacanno

3、tbeeffectivelyutilized.Thisdilemmaforbigdataenvironmentsofdataprocessing,retailenterprisestobuildupabigsaleshadoopdistributeddataprocessingsystembasedontheplatform,theinitialrealizationofstatisticsandsortingandotherbasicfunctions.[KeyWord]BigdataHadoopMapReduceStatisti

4、cs目录第一章引言11.1研究论文的背景与意义11.2本文课题研究的内容与目标1第二章开发环境及相关技术的介绍22.1Hadoop简介22.2hadoop生态系统22.2.1MapRedcue32.2.2MapReduce工作的机制与计算模型32.2.3MapReduce执行流程42.3Web前端框架（SSM）42.4Hadoop在互联网中的应用5第三章需求分析63.1对功能的规定63.2用例描述73.3运行环境规定9第四章系统的设计104.1Hadoop架构设计104.1.1hadoop环境搭建104.2数据处理功能的设计134.

5、2.1数据来源选择134.2.2数据准备144.2.3数据处理154.3数据字典的设计184.3.1权限数据库字典设计184.3.2报表数据字典设计194.4Web端设计204.5实体关系模型21第五章系统的实现235.1销售数据模拟235.2MapReduce实现245.2.1编写Map类245.2.2编写Reduce类255.2.3Main主函数265.3销售数据上传设计275.4基于Echar的报表实现28第六章系统测试316.1数据上传316.1.1程序上传316.1.2销售数据上传326.2Hadoop运行336.3销售数

6、据报表346.4测试结论36结论37致谢语38参考文献39基于MapReduce的销售大数据处理系统第一章引言1.1研究论文的背景与意义我们生活在数据的时代，我们的大多行为都被数据所记录着。在互联网体系中，像腾讯，百度，阿里记录着我们行为的大部分数据。这些数据记录着我们的爱好，行为和习惯。相信我们都看过一个电影叫《天下无贼》里面有一句经典的话：“21世纪最贵的是什么？人才！”但是，按现在这个发展趋势，我觉得还有一个选项那就是大数据。如今，大数据已经成为了互联网上最热的话题。中国的互联网有百度和腾讯，国外的IBM，微软都在深度研究大数

7、据，开始全力的挖掘大数据。针对增量中相当大数量的非结构化的数据，计算挖掘出高效的有利益的市场数据，并且在这些数据中受益【1】。为了应对当下发展的变革，企业也应该不单单保留在传统的营销方式。1.2本文课题研究的内容与目标MapReduce是一种比较好的的编程模型用于支持高效快速地分布式计算框架。它写出来的程序能在上千个简易的集群机上进行运行工作。Hadoop本来就是一个开源的，适合进行分布式应用的研究和开发。本设计拟通过Hadoop平台的MapReduce运算，模拟实现某大企业销售大数据的排序、统计等实时查询工作。通过Web界面实现数

8、据输入和结果输出。增强了可操作性。通过Hadoop提供的框架，设计一个具备分布式应用特点的系统，通过MapReduce的计算框架设计出来实现销售大数据的处理的应用。提供用户简单易用的Web界面。39基于MapReduce的销售大数据处