基于Spark的可扩展电力大数据智能分析平台及其应用

《基于Spark的可扩展电力大数据智能分析平台及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于Spark的可扩展电力大数据智能分析平台及其应用作者姓名石孟楠工程领域电子与通信工程校内指导教师田立斌高级工程师校外指导导师李建华高级工程师所在学院电子与信息学院论文提交日期2017年12月TheScalableIntelligentAnalysisPlatformofElectricPowerBigDataBasedonSparkanditsApplicationADissertationSubmittedfortheDegreeofMasterCandidate:ShiMengnanS

2、upervisor:Prof.TianLibinSouthChinaUniversityofTechnologyGuangzhou,China摘要随着大数据和人工智能的发展，传统数据计算技术和智能分析技术正在经历深刻的变革，新兴的大数据智能分析平台逐渐兴起。伴随着电力信息化的深入发展以及智能电网概念的提出，电力行业数据呈指数级增长，对大量电力数据进行智能分析的业务需求与日俱增。因此电力大数据智能分析平台的构建有着重要意义。本文首先对Spark生态圈的大数据技术以及通用大数据分析平台架构进行深入的探索和研究，剖

3、析目前电力行业大数据智能分析平台的不足和核心需求，针对问题和需求，提出基于Spark的可扩展高可用的电力大数据智能分析平台，简称SSHA平台，并从以下方面展开研究。在SSHA平台架构设计方面，首先剖析Lambda架构的优劣势和适用性，设计广义上四层、狭义上六层的平台架构；其次针对架构中各个层次，调研探索相应的大数据组件技术，分析同一层次下各组件的优缺点，确定技术选型；最后秉承软件设计“单一职责”等原则，优化架构细节，实现层次间的“松耦合、高内聚”以及平台与异构系统的通信。在SSHA平台的具体实现方面，在高可用

4、、可扩展和计算性能三个方面做出关键性的技术实现。高可用上，提出并实现基于DoubleOffset的中间件“数据零丢失”机制以及基于WAL和ECS的数据高可用、最终一致性机制。可扩展上，从底层平台抽离出面向应用层电力业务的业务算法层，通过统一的接口进行通信，理论上可无限横向扩展电力智能分析业务。计算性能上，解耦批处理层和流计算层，改善重复计算的问题，优化实时处理的速度；另外提出并实现将“流与动态表”的思想融合应用到全量数据的更新中，保证数据的准确性并优化批处理计算的精确度。在平台构建完毕的基础上，通过实验对平台

5、的可用性、正确性和高效性进行测试和验证。最后结合实践单位超声波试验数据，研究并实现基于SSHA平台的超声波局部放电信号识别系统。通过超声波试验数据进行实验，验证识别系统的有效性和精确性，同时进一步验证平台的扩展性与高效性。关键词：Spark；电力大数据；高可用；可扩展；超声波；局部放电识别IAbstractWiththedevelopmentofbigdataandartificialintelligence,traditionaldatacomputingtechnologyandintelligentan

6、alysistechnologyareundergoingprofoundchanges,andemergingbigdataintelligentanalysisplatformsareemerging.Alongwiththefurtherdevelopmentofelectricpowerinformationtechnologyandtheriseofconceptofsmartgrid,thepowerindustrydataincreasesexponentially,andthebusiness

7、needsofintelligentanalysisforlargepowerdataaregrowing.Therefore,theconstructionofpowerdataintelligentanalysisplatformisofgreatsignificance.Firstly,thethesisstudiesthebigdatatechnologyofSparkecosystemandthegeneraldataanalysisplatformarchitecturein-depthdeepl

8、y,analyzestheshortcomingsofthecurrentbigdataintelligentanalysisplatforminelectricpowerindustryandcorerequirements.Inviewoftheproblemsandneeds,thethesisproposesascalableandhighavailableintelligentanalys