feed系统结构浅析

《feed系统结构浅析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Feed系统结构浅析人人网张铁安Feed系统的定位及功能描述是SNS的核心功能是SNS网站中用户信息的扩散传播通道需要很高的实时性与各业务系统联系紧密（input&output）高效、稳定、抗压力强系统的复杂度高面临的挑战用户产生的数据量巨大假定按平均1000条/秒计算，用户每天产生近亿条数据Feed的扩散范围大（从几个人到几百万人）合并、去重、排序规则复杂，要求实时，响应快速用户请求量大根据各业务的需要，提供个性化的筛选策略关于PushOrPull的思考获取数据的两种方式推模式拉模式结论从查询的效率考虑，推模式更合适FeedSys

2、tem构成DispatchNewsFeedIndexCacheUserinteractionfeedbackSortingalgorithm&FriendRankMiniFeedIndexCacheFeedContentCacheNewsFeedIndexPersistence(indexdb)Renderingengine(data+template)系统结构图技术细节Feed的分发系统Feed的Cache系统IndexCacheContentCache数据压缩Index的持久化存储系统页面显示用的渲染引擎基于内容及用户行为反馈的

3、排序算法（略）关于OpenSourceFeed系统中使用的OpenSource项目ICE（通信框架）Mysql（DB）Memcache+libmemcached（Content内存Cache）GoogleProtobuf（对象的序列化及反序列化）Quicklz（二进制数据压缩）Boostmulti-indexcontainer（多索引结构）TokyoTyrant（key-value存储引擎）GoogleCtemplate（数据的模板渲染引擎）Nginx+FastCgi（WebServer）Feed的分发系统数据的拆分Index+co

4、ntent收消息用户列表的Cache策略LRU&UpdateNotify异步线程池合理设置线程个数解决脉冲式请求FeedCache的内存优化FlyWeight的设计思想基于FlyWeight思想的Cache结构FeedContentCache&IndexCache服务间的FlyWeightIndex服务内步的FlyWeight结构FeedNews服务内部的FlyWeightIndexCache的多条件查询利用multi_index支持类似数据库的查寻方式，对同一个数据集，可以按不同的维度建立索引，方便支持不同条件的查询，同时对于排序

5、结果，可以做到实时的更新BoostMultiIndexContainer关于内存的压缩存储各种压缩方法zliblzofastlzlzfquicklz对象序列化及压缩Protobuf+quicklzMemcache&McProxy高扩展性的内存Cache方案我们对内存Cache的要求支持高并发在内存容量不断增加的情况下，查询性能不会有大的降低易于扩容及高可用性（一致性哈希）统一的配置管理，使用简单Memcache集群索引的持久化系统索引持久化的原因解决索引的内存Cache重启后无法快速恢复的问题利用相对便宜的存储介质为用户尽量保存多一

6、些内容需要解决的问题每天近60亿条索引的持久化存储(5w+write/s)传说中的解决方案Mysql?（最高1Kquery/s）OpenSourcekey-valuedb?(还是不够快)GFS?(听说Google有，但是光盘没有卖的)索引的持久化系统——五花八门的key-valueDB索引的持久化系统——FeedIndexDB需要解决的难题数万级的每秒写入每秒几千次的随机读每天100G+的新增索引数据索引的持久化系统——FeedIndexDB解决思路常规办法对于每秒几万次的写入，除了堆几十或上百台机器，别无它法。测试结果：做Raid

7、5的机器，在完全随机写的情况下，IOPS也就能到800+如果我们将随机写改为顺序写文件，写入效率会高出很多需要充分的利用内存，在内存中将写入的随机索引进行整理和积攒，再顺序的写入硬盘由于使用了延迟写入内存的方式，需要在Log中记录所有操作，方便出问题时能找回内存中的数据使用异步DirectIO，不要让OS多管闲事，浪费内存选用更牛B的硬盘，我们用的是SSD索引的持久化系统——FeedIndexDB解决方案合并写操作通过Log保证Down机后数据恢复使用TT保存索引使用异步IO读写文件使用DirectIO屏蔽OS的Cache策略使用S

8、SD解决大量的并发读取索引的持久化系统——FeedIndexDB结构IndexNode责任存储UserID到最新一块DataBlock的位置信息使用TokyoTyrant保存key-value对应关系因为数据量很小，所以TT很好用Da