Elasticsearch索引的架构设计.docx

《Elasticsearch索引的架构设计.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、453Elasticsearch索引的架构设计i白鸽学吧##目录1、Elasticsearch索弓丨的设计3注意1:不要在一个索引中定义多个type。6注意2:将Set_source设置为false。6注意3:将_all设置为false。7注意4:设置dynamic=strict。7注意5:使用keyword类型8注意6:使用别名92、Elasticsearch分片分配原贝V10步骤1：定义索引11步骤2:评估数据量11步骤3:评估索引大小和磁盘空间12步骤4:计算分片数12步骤5:评估索引数和类型123、数据去重的思考12#m鸽学吧1、Ela

2、sticsearch索引的设计1.1单一索引还是基于时间的索引？冒怡9aH■OneIndex；Timbasg駆諜5匚丁■■单一索引的问题：1）不能更新Mapping。比如：主分片数不可以修改（除非reindex）。2）无法灵活、快速地扩展。3）更适合固定、小型数据集。基于时间的索引面临的问题：#m鸽学吧1）如何确定间隔？*数据量«变更频率・默认尝试每周为单位分割一一建议2）如何实施？*索引模板1.2定义索引注意事项举例:#"{index}-query":{}},"mappings":{"es_doc":{"dynamic":"strict","

3、_all":{"enabled":false},"_source":{"enabled":false},"properties"^"CLF_Timestamp":{"type":"long"},"CLF_CustomerlD":{"type":"keyword"},"CLF_ClientIP":{7"type":"ip",7注意1:不要在一个索引中定义多个type6.X版本已经不支持，7.X版本彻底不支持。扩展问题：5.X版本的父子文档实际实现中是一个索引中定义了多个type，到了6.X中实现方式改变为：join方式。注意2:将Set_sour

4、ce设置为false。假设你只关心度量结果，不是原始文件内容。将节省磁盘空间并减少10。7鸽学■巴这个点，需要结合实际的业务场景具体问题具体分析举例："_source":{"enabled":false},注意3:将_all设置为false。假设你确切地知道你对哪个field做查询操作？能实现性能提升，缩减存储。举例："_all":{"enabled":false},注意4:设置dynamic=strict。7假设你的数据是结构化数据字段设置严格，避免脏数据注入举例："dynamic":"strict",注意5:使用keyword类型假设你只关

5、心完全匹配提高性能和缩小磁盘存储空间举例:9"CLF_CustomerlD":{"type":"keyword"},注意6:使用别名如何在不停机的前提从一个索引切换到另一个索引?IndexIndex(ce-irdex-vl-access-15240yb

6、、Elasticsearch分片分配原则社区和QQ群中经常被问到的问题:1）应该分几个索引、几个分片?2）每个分片大小如何设置？3）副本多少如何设置？这里，明确给出实操可行的6个步骤EstimaieindexandDiskSpaceliWtexEalimaleDataAmouniCalculateSrwr

7、、备注。以上对计算单条数据大小也有用。步骤2:评估数据量评估方法举例：1分钟有100条数据，1天=1006024=144000条。13m鸽学吧1月=144000条30天=432W条数据。1年=432W12=5184W条数据。假设要保存2年，共=10368W条数据。假设每条数据20KB，共需要存储:10368W*20/1024/1024/1024=1.977TB。步骤3:评估索引大小和磁盘空间步骤4:计算分片数细节考虑点：1、每个分片大小应小于30GB。2、分片数量=k*数据节点数目（k=一个足够小的整数，举例：1,2,3）3、假设你有一个小的索

8、引，并且你有集群中有足够的节点，请尝试使用默认值分片数5。步骤5:评估索引数和类型（此处可能会有多次反馈迭代）3、数据去重的思考13m鸽学吧方法1:指