基于key-value的海量日志存储系统设计

《基于key-value的海量日志存储系统设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据基于Key—value的海量口志存储系统设计目录口罩目冰摘要．．．．．．．．⋯．．⋯．⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯．．IVABSTRACT．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．、f第一章绪论⋯．．．．．．⋯⋯．．．⋯．．．⋯⋯⋯⋯⋯⋯⋯⋯⋯．。11．1课题研究背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．21．31．4第二章2．12．22．3第三章1．1．1通用搜索引擎架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．21．1．2垂直搜索引擎⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．3日志系统国内外研

2、究现状⋯⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯31．2．1FaceBook的Scribe⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯41．2．2Apache的Chukwa．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．41．2．3Linkedln的Kafka⋯⋯⋯⋯⋯⋯⋯⋯．．⋯．⋯⋯．．51．2．4Cloudera的Flume．．⋯⋯⋯⋯⋯⋯⋯⋯⋯．．⋯⋯．6主要研究工作与成果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯8论文结构．．．．⋯．．．．．．．⋯⋯⋯．．．．⋯⋯⋯⋯⋯⋯⋯．．．．8KEYVALUE数据库及其关键技术研究⋯⋯⋯⋯⋯．⋯⋯⋯⋯9海量日志数据处理的特点⋯⋯⋯⋯⋯⋯．⋯⋯⋯．⋯⋯⋯9现有流行的KeyV

3、alue数据库特点⋯⋯．⋯⋯⋯⋯⋯⋯⋯．．102．2．1Memcached．．．⋯⋯⋯．⋯．．．．⋯⋯⋯⋯⋯⋯⋯⋯102．2．2MongoDB．．．．．．．．．．⋯⋯⋯⋯⋯．．⋯⋯．⋯．⋯⋯．．1l2．2．3RediS⋯．．⋯⋯．．⋯⋯⋯⋯．．．．⋯⋯．⋯．．⋯⋯．112．2．4TokyoTyrant／Cabinet⋯．．．．．．．．．．⋯．．⋯⋯⋯⋯．．．122．2．5HandlerSocket．⋯⋯．⋯⋯．．⋯⋯⋯⋯．．．⋯⋯⋯122．2．6Cassanda．．．．．．．⋯⋯．⋯⋯．⋯⋯．⋯⋯．．⋯⋯⋯122．2．7HBase⋯⋯⋯⋯．．⋯⋯⋯⋯⋯．．⋯

4、．．．⋯⋯⋯．．122．2．8Memlink．⋯．．．．．．．．．．⋯．⋯⋯．．．⋯⋯⋯⋯．．⋯．．13KeyValue关键技术分析⋯⋯⋯⋯⋯⋯⋯．⋯⋯．．．．⋯．．142．3．1CAP理论．．．．．⋯．．⋯⋯⋯⋯．⋯⋯．．．．⋯．⋯⋯⋯142．3．2关系数据库的ACID理论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．152．3．3KEYVALUE的BASE理论⋯⋯⋯⋯．．．⋯⋯⋯．．．⋯⋯．162．3．4KeyValue相对于关系型数据库的优点⋯．⋯．⋯．⋯⋯．．．162．3．5现有KeyValue的不足及发展趋势⋯⋯⋯⋯⋯⋯⋯⋯17分布式海量日志存储系统架构设计⋯⋯⋯．⋯⋯

5、⋯⋯⋯⋯18万方数据基于Key-value的海量日志存储系统设计目录3．，系统需求分析⋯．．．．⋯⋯⋯⋯．．．．mlllllllllIllfillfilllllllULllllll⋯．．·83．1．1项目描述⋯⋯⋯⋯⋯⋯⋯．Y2704311⋯．。183．1．2功能描述及流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯193．1．3数据收集及请求的特点⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯．．203。1．4数据量分析⋯⋯．．．⋯⋯．．⋯．．．⋯⋯⋯⋯⋯．⋯．203．1．5拟采用的设计思路．．⋯⋯．．⋯⋯⋯．．．．⋯．⋯．．⋯．213．2现有KeyVahe数据库性能对比⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯．

6、223．2．1性能对比测试schema设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯223．2．2插入数据性能对比⋯⋯⋯⋯⋯⋯⋯．．⋯．．⋯．．⋯．233．2．3查询性能对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯．253．2．4并发性能对比⋯．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．253．2．5各KEYVALUE性能特点及海量日志系统设计策略．⋯．⋯⋯．283．3系统整体架构设计⋯．．．．．⋯⋯．．．⋯⋯⋯⋯⋯⋯⋯⋯．．283．4分布式架构设计方案⋯．．．⋯⋯⋯．．．．⋯⋯⋯．．．⋯⋯⋯．303．5持久化存储方案⋯．⋯⋯⋯⋯⋯⋯⋯．．⋯⋯⋯．．⋯⋯．303．6数据添加／查询处理流程⋯⋯⋯⋯⋯⋯．．⋯⋯

7、⋯⋯⋯⋯313．7集群的部署设计及实现⋯⋯⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯．．33第四章KeyVahe存储系统持久化的设计与实现⋯⋯．⋯⋯．⋯⋯⋯344．1HashTable(inmemory)⋯⋯．⋯⋯．⋯⋯⋯⋯⋯⋯⋯⋯．354．1．1数据结构实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．354．1．2HashTable应用接口及关键代码实现⋯⋯⋯．⋯⋯⋯⋯364．2Dump接口实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．384．2．1数据结构实现⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．384．2．2Dump应用接口关键代码实现⋯⋯⋯⋯⋯⋯⋯⋯⋯．．384～Metajist(inmemory)．

8、．．⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯404．3一Metaj