浅析新浪微博的集群技术利用及网站业务架构

《浅析新浪微博的集群技术利用及网站业务架构》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、我真正系统地接触和学习党的基本知识是在这次中级党校的培训班上。通过学习，了解了党的发展历程，对党的性质、宗旨、任务等基本知识有了进一步的了解浅析新浪微博的集群技术利用及网站业务架构　　这篇文章主要介绍了新浪微博的集群技术利用及网站业务架构,讲到了缓存和消息队列等微博的负载解决方案,需要的朋友可以参考下　　据了解，随着用户数量的不断扩增，在高峰期，新浪微博的服务器每秒要接受100万以上的响应请求，压力可谓空前。童剑表示，面对如此高的并发访问量，新浪在技术上所遇到的挑战也相当大。比如整体的技术平台如何做性能扩展?局部技术单元如何做性能扩展?并设计系统使能通过增加服务器即可实现服务能力扩容。不

2、过，服务器数量的增加，会带来服务器采购成本的激增，而大量服务器快速部署上线又会对效率提出新的挑战，新困难层出不穷。　　对此，新浪也在不断地寻找更完善的解决方案来满足他们的需求。新浪网研发中心平台架构部的思路是：　　1、先规划整体，从大的技术体系上来保证能有效解决性能问题、成本问题、效率问题、可靠性问题;　　2、然后再从局部着手，保证每个技术单元都能够从性能、可靠性方面满足需求;　　3、同时在应用和系统的设计上，增加对故障容错的处理能力;　　4、在产品运维上，加强风险控制，提高监控的有效性。对党的认识也有了进一步的提高。才真正体会到了中国共产党的伟大、光荣和正确，更感到只有中国共产党是全中

3、国最广大人民利益的忠实代表我真正系统地接触和学习党的基本知识是在这次中级党校的培训班上。通过学习，了解了党的发展历程，对党的性质、宗旨、任务等基本知识有了进一步的了解　　而在海量数据的处理方面，新浪则分别利用Hadoop的HDFS实现海量数据存储、用MapReduce实现分布式计算，有些数据还使用了HBase进行存储和查询。除此之外，也大量采用了Hive、Zookeepr等技术。　　集群的运维管理和交互仍是Hadoop应用瓶颈　　Hadoop源于互联网，也回馈于互联网，互联网企业可以说是当前Hadoop技术应用最广泛、最深入的领域。如今大多数机构都已经部署了各自的IT业务系统，Hadoo

4、p技术与现有IT架构如何实现无缝整合，成为了许多用户非常关心的话题。在童剑看来，目前互联网领域的Hadoop应用在大规模的使用情况下，瓶颈还是比较多的。一方面是集群的运维管理和监控，这方面的工具现在还不够成熟，需要运维工程师有较为丰富的经验。运维工程师除了要掌握硬件的资源使用情况，还需要部署一些管理软件来实现管理。另一方面则是由于集群中各组件之间的交互响应性能较差，在集群达到一定规模后，要有针对性的对其进行改进和优化。　　微博平台的技术体系，使用正交分解法建立模型：在水平方向，采用典型的三级分层模型，即接口层、服务层与资源层；在垂直方向，进一步细分为业务架构、技术架构、监控平台与服务治理

5、平台。下面是平台的整体架构图：对党的认识也有了进一步的提高。才真正体会到了中国共产党的伟大、光荣和正确，更感到只有中国共产党是全中国最广大人民利益的忠实代表我真正系统地接触和学习党的基本知识是在这次中级党校的培训班上。通过学习，了解了党的发展历程，对党的性质、宗旨、任务等基本知识有了进一步的了解　　如上图所示，正交分解法将整个图分解为3*4=12个区域，每个区域代表一个水平维度与一个垂直维度的交点，相应的定义这个区域的核心功能点，比如区域5主要完成服务层的技术架构。　　下面详细介绍水平方向与垂直方向的设计原则，尤其会重点介绍4、5、6中的技术组件及其在整个架构体系中的作用。　　水平分层　

6、　水平维度的划分，在大中型互联网后台业务系统的设计中非常基础，在平台的每一代技术体系中都有体现。这里还是简单介绍一下，为后续垂直维度的延伸讲解做铺垫：　　接口层主要实现与Web页面、移动客户端的接口交互，定义统一的接口规范，平台最核心的三个接口服务分别是内容（Feed）服务、用户关系服务及通讯服务（单发私信、群发、群聊）。　　服务层主要把核心业务模块化、服务化，这里又分为两类服务，一类为原子服务，其定义是不依赖任何其他服务的服务模块，比如常用的短链服务、发号器服务都属于这一类。图中使用泳道隔离，表示它们的独立性。另外一类为组合服务，通过各种原子服务和业务逻辑的组合来完成服务，比如Feed

7、服务、通讯服务，它们除了本身的业务逻辑，还依赖短链、用户及发号器服务。对党的认识也有了进一步的提高。才真正体会到了中国共产党的伟大、光荣和正确，更感到只有中国共产党是全中国最广大人民利益的忠实代表我真正系统地接触和学习党的基本知识是在这次中级党校的培训班上。通过学习，了解了党的发展历程，对党的性质、宗旨、任务等基本知识有了进一步的了解　　资源层主要是数据模型的存储，包含通用的缓存资源Redis和Memcached，以及持久化数据库存