面向Elasticsearch的监控管理平台的设计与实现

《面向Elasticsearch的监控管理平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201676120学校代码10487密级硕士学位论文面向Elasticsearch的监控管理平台的设计与实现学位申请人：裘紫阳学科专业：软件工程指导教师：吴涛教授答辩日期：2018.12.25AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofMonitoringandManagementPlatformforElasticsearchCandidate：Qiuz

2、iyangMajor：SoftwareEngineeringSupervisor：Prof.WuTaoHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaDecember,2018独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年

3、月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要Elasticsearch是基于Lucene的分布式全文搜索引擎，在很多公司中都使用Elast

4、icsearch引擎来检索数据，其应用的领域非常广泛。但是，如何很好的监控和管理Elasticsearch集群，保持集群的稳定以及如何很好的管控用户查询避免相互影响，是很多公司所面对的难题。所以需要构建面向Elasticsearch的监控管理平台，实现对用户查询的控制、管理Elasticsearch集群资源、建立监控体系、提高集群稳定性、降低运维的成本、方便用户使用Elasticsearch检索数据。面向Elasticsearch的监控管理平台主要包括网关模块、元数据管理模块、集群监控模块。网关模块主要包括API级别权限校验、限流降级、容灾以及查询分

5、析与审核等。网关模块使用Ehcache缓存用户查询数据，支持TCP和HTTP两种协议，处理用户查询请求。元数据管理模块主要包括Template（模板）的生命周期管理、资源的容量规划、用户应用管理、工单管理等等。元数据管理模块根据每个Template对应的TPS与QPS，分析所需要的资源，采用贪心算法对集群的进行资源的容量规划，提高资源的利用率。集群监控模块采集集群指标信息并配置监控大盘，直观观察集群各个指标比如写入率、查询率等等。另外，站在用户视角监控数据是否可查询，静态的分析集群不健康的检查项，生成健康报告。元数据管理模块、集群监控模块都采用B/S

6、架构，用户通过界面与后端进行交互。后端使用SSM框架进行开发，采用Tomcat作为服务器，并将数据保存在MySQL中。平台上线后，用户查询得到很好的管控，不合理的查询会被拒绝，并由平台运维人员评估合理性，再对查询进行优化后再审批通过，避免了查询对集群的影响。集群运维工作大大降低，资源的利用率由原先平均30%提升至50%，集群的稳定性大大提升。目前整个监控管理平台读写峰值TPS分别是10904/s和1316w/s。关键词：Elasticsearch引擎监控管理网关容量规划I华中科技大学硕士学位论文AbstractElasticsearchisadist

7、ributedfull-textsearchenginebasedonLucene.Inmanycompanies,theElasticsearchengineisusedtoretrievedata,anditsapplicationfieldsarealsoextensive.However,howtomonitorandmanageElasticsearchclusterstoimproveclusterstabilityandhowtocontroluserqueriestoavoidmutualinfluenceareproblemsfac

8、edbymanycompanies.Therefore,itisnecessarytobuildamonit