基于kafka分布式能效管理平台的研究与应用

《基于kafka分布式能效管理平台的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、武汉邮电科学研究院硕士学位论文基于Kafka分布式能效管理平台的研究与应用ResearchandApplicationofDistributedEnergyEfficiencyManagementPlatformBasedonKafka专业：信号与信息处理研究方向：数据通信导师：卢军研究生：朱幼普学号：20150064二〇一八年一月武汉邮电科学研究院硕士学位论文独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果，除了文中特别加以标注的地方外，没有任何剽窃、抄袭、造假等违反

2、学术道德、学术规范的行为，也没有侵犯任何其他人或组织的科研成果及专利。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。如有任何侵权行为，本人愿意为此独立承担全部责任。作者签名：_____________签字日期：关于论文使用授权的说明本人完全了解武汉邮电科学研究院（烽火科技集团）有关保留、使用学位论文的规定，本文知识产权归武汉邮电科学研究院所有，武汉邮电科学研究院有权保留送交论文的复印件和电子版本，允许论文被查阅和借阅。同意将本人的学位论文提交中国学术期刊（光盘版）电子

3、杂志社全文出版并收入《中国学位论文全文数据库》。公开保密一年保密两年(注：保密的学位论文在解密后遵守此协议)作者签名：签字日期：导师签名：签字日期：武汉邮电科学研究院硕士学位论文摘要近年来，随着信息技术和互联网技术的迅猛发展，全球的数据总量也呈现出爆炸式增长的趋势，大数据时代即将到来。这将使科学研究的各个领域产生巨大变革，也将深远的影响到我们未来生活的各个方面。本文所提出的基于Kafka的分布式的能效管理平台具有创新性的意义。该平台的设计目标是可以将输入的海量复杂的流数据进行分布式缓存，并用于微服务之

4、间的通信。本文的主要工作：详细介绍了平台设计的总体架构，将整个系统分为三个层次，分别是控制层、中间服务层以及微服务层；充分利用Kafka在数据传输方面的优势，将Kafka作为消息传递服务器，实现各个微服务之间的通信。并基于此设计实现了基于Kafka的大规模流数据分布式能效管理平台，对电表，水表等计量设备采集的实时数据进行分析处理和展示，实现能源使用的科学化、智能化、精细化。最后通过实验验证其可用性，高效性以及可扩展性等。本文的独到之处如下：（1）在传统能效管理平台的基础上使用Kafka分布式消息中间件

5、对海量流数据进行缓存，提高了在流数据输入量突发性改变时整个系统的稳定性。（2）研究与改进了Kafka原生Consumer负载均衡算法以及数据消费可靠性实现方式，提高了Kafka服务器集群负载均衡的效率和消息消费的可靠性。（3）设计并实现了微服务的直接解耦合和高效安全的通信方式，以满足平台的扩展性和系统吞吐量等多方面的需求。本文希望该平台的研究与实现过程可以给分布式计算集群的搭建和海量数据处理过程提供新的方法和思路，也希望能通过不断的研究，逐步完善此平台系统。关键词：分布式；Kafka；数据传输；可靠性

6、I武汉邮电科学研究院硕士学位论文AbstractInrecentyears,withtherapiddevelopmentofinformationtechnologyandInternettechnology,theglobaldatavolumealsoshowsanexplosivegrowthtrend,andtheeraofbigdataiscoming.Thiswillbringabouttremendouschangesinallfieldsofscientificresearchand

7、willprofoundlyaffectallaspectsofourfuturelife.TheKafka-baseddistributedenergyefficiencymanagementplatformproposedinthisthesisisofinnovativesignificance.Theplatform'sdesigngoalistodistributethemassivestreamdatainputbythesystemintothecacheandtocommunicate

8、betweenmicroservices.Themainworkofthisthesis:adetaileddescriptionoftheoverallarchitectureoftheplatformdesign,ithasbeendividedintothreelevelsoftheentiresystem,namelythecontrollayer,themiddleservicelayerandmicro-servicelayer;takefu