基于Hive和Apache Kylin的生产大数据聚合与管理系统的设计与实现

《基于Hive和Apache Kylin的生产大数据聚合与管理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于Hive和ApacheKylin的生产大数据聚合与管理系统的设计与实现作者姓名蔡旭坤工程领域电子与通信工程校内指导教师向友君副教授校外指导教师饶启琛教授级高工所在学院电子与信息学院论文提交日期2018年5月DesignandImplementationofProductionBigDataAggregationandManagementSystemBasedonHiveandApacheKylinADissertationSubmittedfortheDegreeofMasterCandidate：CaiXukunSuperv

2、isor：AssociateProf.XiangYoujunSouthChinaUniversityofTechnologyGuangzhou,China分类号:TP399学校代号：10561学号：201521010169华南理工大学硕士学位论文基于Hive和ApacheKylin的生产大数据聚合与管理系统的设计与实现作者姓名：蔡旭坤指导教师姓名、职称：向友君副教授申请学位级别：工程硕士工程领域名称：电子与通信工程论文形式：□产品研发工程设计□应用研究□工程/项目管理□调研报告研究方向：智能信息处理论文提交日期：2018年05月31日论文答辩日

3、期：2018年06月02日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：傅予力教授委员：李波副教授、向友君副教授、唐杰副教授、周斯宁高级工程师摘要《中国制造2025》规划提出了建设制造业强国的目标，注塑工业作为制造业的重要组成部分，也在不断地改造与升级。目前注塑工业的信息化建设还在普及中，一些注塑生产企业开始注重工业软件系统对企业的生产控制和运营管理的重要价值，并逐步构建起一条从机械设备的自动化系统到工业软件系统的制造生产信息处理链。不过，由于信息化建设的长期性、认识的片面性、系统实现标准的不一致性、部门管理的封闭性等原因，

4、导致了“信息孤岛”问题的出现。这使得大量的生产数据未能得到充分的整合、共享与应用，从而严重制约了以数据为驱动的智能生产模式的发展。本文针对上述注塑工业信息化建设过程中出现的“信息孤岛”问题，设计并实现了一个生产大数据聚合与管理系统来对注塑生产过程中的相关数据进行统一管理，其利用OLAPonHadoop技术和可视化技术将汇聚的数据反馈到各个孤立的工业软件系统中，从而实现工业软件系统的互联互通并为注塑生产企业提供以数据为支撑的决策优化支持。本文有以下四部分主要工作内容：1.针对生产数据存在的数据存储不一致的问题，利用维度建模技术逐步构建起注塑生产大数

5、据Hive数据仓库系统，实现数据的统一存储。2.针对工业软件系统存在的异构系统的数据融合问题，利用ETL技术通过数据抽取、数据清洗、数据转换、数据加载等步骤，将源数据以一致的方式存储到Hive数据仓库中，实现系统的互联。3.针对Hive存在的高耗时查询的问题，使用ApacheKylin引擎对数据仓库中的生产数据进行预聚合处理来提高数据的查询速度，并在该引擎的基础上进行功能扩展，实现自动化地构建和管理数据立方体的需求。4.针对工业软件系统存在的数据难以共享和应用的问题，通过一个服务端逻辑架构来构建基于数据立方体的数据可视化平台，并提供便于工业软件系

6、统集成的Web服务支持，实现系统的互通。本文针对注塑工业中的“信息孤岛”问题实现了生产数据的整合、共享与应用，有助于推动工业互联网的建设进程。关键字：信息孤岛；数据仓库；OLAPonHadoop；注塑工业；ETLIAbstractThe“MadeinChina2025”planputsforwardthegoalofbuildingamanufacturingpowerhouse.Asanimportantpartofthemanufacturingindustry,theinjectionmoldingindustryisalsocontinu

7、ouslyretrofittingandupgrading.Atpresent,theinformationtechnologyconstructionoftheinjectionmoldingindustryisstillpopularization.Someinjectionmoldingproductionenterpriseshavebeguntopayattentiontotheimportanceofindustrialsoftwaresystemsforproductioncontrolandoperationmanagemento

8、fenterprises.Theyhavegraduallybuiltupamanufactureproductioninformati