基于互联网的数据分析平台的设计与实现

《基于互联网的数据分析平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于互联网的数据分析平台的设计与实现DesignandimplementationofdataanalysisplatformbasedonInternet工程领域：软件工程1作者姓名：郎岳樟1指导教师：窦友众高工1企业导师：李佳麒高工1天津大学软件学院二〇一七年十二月万方数据万方数据万方数据万方数据摘要在2012和2013年CIO优先考虑的十大业务和技术中，“分析和商业智能”排名第一位，并且在Gartner2013全球CIO的调查涵盖41个国家的36个行业的2053名CIO，代表了超过2300亿美元的IT预算。从中可以得出结论——市场对数据

2、分析的需求是巨大的，并且伴随大数据的到来，对既有的大量数据和复杂结构的数据如何分析并发现其中的价值，已经是很多企业都在考虑的事情。过去，传统的数据分析工具面临两方面的巨大挑战，一方面传统数据分析工具成本高，用户需要有财力支撑；另一方面传统的数据分析对IT技能和专业数据分析知识要求高，80%的中小企业不具备人才储备。因此，该平台基于互联网技术以及新的设计模式解决用户低成本和低专业能力也能使用的需求。该平台从数据整合、数据治理、可视化分析和协同办公四个方面解决以上问题：1）数据整合：通过JDBC、文件上传解析技术实现企业数据库数据和文件数据的采集

3、整合，将分散在各个系统孤岛中的数据整合到一个平台。2）数据治理：基于互联网云计算技术，将以往需要本地数据治理工作迁移至云平台中，不但提升数据处理性能，而且降低企业本地的服务器成本和运维压力。3）可视化分析：利用HTML5技术实现丰富的数据可视化组件以及交互方式，并通过拖拽作图的操作模式让非专业人员可以容易使用。4）协同办公：基于数据的协同是未来数据驱动型企业的刚性需求，该平台提供工作群组、即时通讯、数据权限等功能，实现用户间的协同。实现后的数据分析平台将在技术创新性、应用创新性方面颠覆传统的数据分析工具，用户只需要在互联网中注册账号即可使用，

4、所有的数据存储和计算将集中由平台提供，通过SaaS（软件即服务）的新模式提供用户使用。总之，该平台的设计将利用互联网技术，将传统高端的数据分析能力大众化，利用互联网及云技术降低平台运营成本，从而降低用户的支付成本。同时，通过高度易用的交互设计，让非IT人员轻松使用。通过降低成本和IT专业要求，帮助更多的用户获得数据分析能力。关键词：商业智能，数据分析，互联网，数据可视化I万方数据万方数据ABSTRACTAstheGarterTop10BusinessandTechnologyPriorities2012-2013shows,"Analytic

5、sandBusinessIntelligence"rankedfirstfortwoconsecutiveyears.Thisglobalsurveycovered2053CIOsfrom41countriesand36industries,representingmorethan$230billionITbudget,fromwhichwecandrawtheconclusionthatthemarket’sdemandfordataanalysisishuge,andasthevolumeofdataisexploding,manyent

6、erprisesandorganizationsstarttoconsiderthewaytominetheinnervalueofexistingcomplexdata.Inthepast,thetraditionaldataanalysistoolsfacedtwochallenges.Ontheonehand,thetoolsarealwaysexpensive.Ontheotherhand,theyoftenrequirestrongITskillsandanalysiscapabilities,which80%oftheSMEsdo

7、n’thave.Therefore,aplatformthatbasedonInternettechnologyandnewdesignpatternscouldmeettheSME’sdemandsoflowcostandlowrequirementofprofessionalability.Theplatformsolvetheproblemsfromfourperspectives:1.Dataintegration:Integratethescattereddatafromsystemsilossuchasdatabases、loca

8、lfilesandthird-partycloudapplicationsintooneplatformthroughJDBCandfileuploadingtec