一种高效的大数据实时性解决方案.pdf

《一种高效的大数据实时性解决方案.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Vo1．42No．4计算机与数字工程总第294期678Computer&DigitalEngineering2014年第4期一种高效的大数据实时性解决方案唐云善杨志(国网电力科学研究院南京210096)摘要大数据计算是物联网和云计算的研究热点之一。针对大数据中的结构化和非结构化数据，Hadoop技术在实时性要求不高的场景中应用效果较好，但在实时性要求高的场景中不能满足需求。针对这一问题，论文利用对象化并行计算提出了一种高效的实时性解决方案。对象化并行计算融合了对象化、Hadoop、内存计算等技术。在方案中，业务数据格式化成对象并分布式存储

2、到集群计算机内存中，任务拆分成子任务通过并行计算来完成。对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中，应用效果表明该方案可大幅度提升系统性能，满足实时性需求。关键词大数据；Hadoop；对象化并行计算；对象化并行计算框架中图分类号TP301BOI：10．3969／j．issn1672—9722．2014．04．033AnEffecientReal—TimeSolutionofBigDataTANGYunshanYANGZhi(StateGridElectricPowerScienceResearchInstitute，N

3、anjing210096)AbstractThebigdatacomputingisoneofhotresearchspotsoftheinternetofthingsandcloudcomputing．Themain—streamtechnologyhadoopisveryefficientforunstructuredandstructureddatainmostofscene，butdoesnotmeetthede—mandsinreal—timescene．Todea1withtheproblem，aneffectivesolut

4、ionwithObjectificationParallelComputing(OPC)inwhichthehadoop，memorycomputingandobjectificationtheoryarefusedisprovided．Inthesolution，theobjectsformattedfromthedataaredistributellystoredinthecomputermemoriesandparallelcomputetocompletetasks．TheOPCisappliedtotheElectricAsse

5、tQualitySupervisionManageSystem(EAQSMS)ofStateGridofChina，andtheresultshowsthatthesolutioncangreatlyenhancetheperformanceofthesystemandreal-timedemandismet．KeyWordsbigdata，Hadoop，objectificationparallelcomputing，architectureofobjectificationparallelcomputingClawNumberTP30

6、1doop的核心代码来进一步提高性能，比如文献[51引言～8]。文献[6]设计了一种基于Web接口的大数据计算[】叫]是物联网和云计算的研究热HDFS可视系统，增加操作HDFS界面的友好性。点之一，研究内容主要有大数据的获取、管理、处文献E8]提出了一种扩展的EHDFS，用来存储和管理、展示等环节。在处理环节中，HadoopE。是主流理大量的小文件。另外一类是针对某些特定场景，技术之一。虽然它的计算效率比其他技术高，但是在Hadoop基础上增加功能，比如文献[9～12]。在有实时性要求的场景中，实时性性能仍然有待于为了实现分子对接的自动化

7、，文献E10]利用Ha—进一步提高。doop平台中的HDFS系统来进行大数据的存储、当今，Hadoop具有开放的源代码、低硬件要求管理小文件和保存结果文件。和灵活扩展性等特点，因此它引起了科研院所和工另外，实时数据库(Real—TimeDatabase)Ela]针业界的高度关注，成为了大数据的主流技术之一。对结构化数据在某些数据量级的情况下可以实现研究Hadoop技术主要有两类。一类是修改Ha—实时性。但是相对于Hadoop，它不适合当数据量收稿日期：2013年1O月8日，修回日期：2013年l1月25日作者简介：唐云善，男，硕士，高级工

8、程师，研究方向：电力信息与通信技术。杨志，男，博士，工程师，研究方向：服务计算，云计算，物联网。2014年第4期计算机与数字工程达到PB或者以上的情况，因此不能广泛地应用在处理。图1中显示的框