资源描述：
《搜索引擎的动力引擎》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、搜索引擎的动力引擎搜索引擎的动力引擎 互联网行业竞争激烈,能否得到更多用户的认可是企业生存的根本,而认可的关键就在于服务是否及时、优质、准确。搜狗是搜狐于2005年推出的全球首个第三代互动式中文搜索引擎,在搜狐的整体发展战略中占据十分重要的地位。搜狗的产品线包括了网页应用和桌面应用两大部分。如何在强手如林的搜索引擎市场占据有利地形,是一个必须回答的重要命题。 海量数据检索带来的挑战 搜索引擎的最大难题是正确理解和满足用户的需求,而这一切,都必须基于一个强大的数据中心来完成。提升数据中心的效能,是提升用户满意度的关键要素。基于这种考虑,搜狐特别启动了搜狗新一代数据中心项
2、目的建设,希望通过技术创新,提升搜狗的服务品质,从而赢得用户的青睐。 搜狐追求新技术应用是有传统的,搜狗引擎就是搜狐在搜索技术领域追求创新的一个结果。我们希望能利用各种领先的技术与设备,让我们的产品与服务为用户带来更好的感受。尤其对于搜狗数据中心,我们更希望规避传统数据中心的短板,进一步提升数据中心网络的性能、效率与可靠性,让用户访问起来感觉更加良好。搜狐网络运维部某负责人解释了采用新一代数据中心解决方案的初衷。 此外,搜狐在数据中心网络建设上不断求新是形势使然,从2007年搜狐正式推出搜狗网页搜索3.0版本之后,搜狗搜索引擎的中文网页收录量已超过100亿,每天的网页更新量则
3、有5亿之多,激增的海量数据对搜狗数据中心带来了前所未有的压力。新的搜狗业务应用要求数据中心网络平台能支撑百亿海量网页收录、及时更新网页和网页评级体系,满足高密度服务器集群的高性能并行抓取工作,同时网络系统要具备后期灵活的扩展能力。面对超高的网络流量与数量庞大的服务器集群,原有的搜狗数据中心网络架构与设备性能已无法满足这一要求,采用新一代数据中心架构来建设搜狗IDC新机房成为必然的选择。 根据这一需求,2009年初,搜狐公司征集了业内多家厂商的设备,进行了全方位考察和比较。最终,H3C公司集S12508数据中心级核心交换机、S75E高端多业务路由交换机、S5800万兆交换机、iM
4、C智能管理中心等软硬件设备为一体的统一交换架构数据中心解决方案获得了该项目的全部份额,搜狗新一代数据中心网络建设的大幕也由此拉开。 让大流量不再是问题 据记者了解,在搜狗数据中心网络体系中,部署了两台H3CS12500交换机作为整个网络的核心,同时,两台 S75E高端多业务路由交换机承担起数据传输网的重任,而数十台S5800交换机则作为接入交换机,将2000多台服务器连成了一个大的网络。 据H3C网络产品线副总裁孙德和介绍,S12500的设计瞄准的就是数据中心高密度、大流量和大缓存的特点,其单台设备容量已达到5.76T,而且能支持多达576个万兆端口,能够充分满足
5、搜狗数据中心高密度万兆应用的需求,这也是传统的万兆交换机很难做到的一点。 众所周知,网页搜索最重要的就是搜索速度与结果准确性,这也是搜狗引擎持续不断优化改进的目标,它依托的是系统在瞬间对海量网页数据进行挖掘、分析、显示的结果。在这一过程中,数据中心网络承担的带宽压力非常大。为了保证用户能够得到及时、准确的搜索结果,当搜狗引擎接收到一个网页搜索请求时,往往会向高密度服务器群同时发起检索需求,并在非常短的时间内接收几百台服务器几乎同时发回的搜索结果,巨大的数据流量如果不能及时吸收,那么很容易出现网络拥塞的现象。 而S12500的大缓存能力很好地解决了这个问题,不仅每个端口拥有25
6、6M的大缓存能力,更重要的是它支持分布式缓存机制,当搜索数据浪涌到来时,一部分报文被缓存在接入交换机S5800的8M缓存中,另一些则缓存在S12500的更大缓存中,有效地利用了各级设备的端口缓存能力,最大限度地吸收突发流量,这样,就减少了丢包的可能性,尽可能地减少了对业务的影响。先期开展的实地测试结果表明,每次浪涌的收敛时间都控制在几十毫秒之内。 搜狐网络运维部负责人表示,通过建设新一代数据中心网络,解决了搜索引擎业务普遍感到头疼的浪涌问题,对普通用户来说,意味着搜索结果中的死链接会更少。可以说,H3CS12500核心交换机起到了非常关键的作用。 创新架构带来新价值
7、 在搜狗数据中心的网络架构中,数十台作为接入交换机的S5800并非是简单的并列关系,而是每四台虚拟成一台虚拟交换机,然后并列着接入核心交换机S125000。对此,该负责人解释道,这里采用的是H3C推出的IRF2(第二代智能弹性架构,IntelligentResilientFrame.不增加投资的情况下,可利用的带宽相比以前增加了一倍。 在搜狐对IRF2性能实际测试中,搜狐数据中心网络的稳定性表现得十分突出,无论是S12500内部双引擎的主备倒换,还是链路级的倒换,系统的恢复时间
