做大的艺术–大型网站的架构设计

《做大的艺术–大型网站的架构设计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、做大的艺术–大型网站的架构设计作者邓侃如果说1980年代是PC的时代，1990年代是互联网的时代，那么当下呢？当下是移动互联网的时代。移动互联网的基本要义，一言以蔽之，就是把手机与网站相连，每部手机在网站上都有独立的个人空间，成为手机的镜像。一部小小的手机里面，可能同时装载着数十个软件。而且在同一时刻，可能好几个软件在同时运行。另外，还得时刻准备暂停运行，把手机CPU等资源让给电话通话等优先级别高的工作。还有，时刻需要准备应付网络连接中断，手机电池耗尽等等情况。总之，手机软件的结构设计，是做小的艺术。移动网站的架构设计，与手机软件的架构设计有着本质的不同。如果说手机软件的特点在于小，那么网站

2、的特点在于大。仅中国就有几亿手机用户，作为服务于移动业务的网站，它的质量来自于是否能够同时为大规模并发用户提供服务，是否能够处理海量数据，是否能够在需要扩大网站吞吐量的时候，只需要增加机器，而不需要对网站架构做大手术。这是做大的艺术。提到做大规模网站，大家一定会想到云计算，想到GoogleFileSystem，Chubby，BigTable，MapReduce等等。这些技术固然很好，但是它们仅仅是构成一个大型网站的技术要素。实际构建一个大型网站时，光知道技术要素是不够的，还得明白如何把各个要素有机地结合到一起。“Flickr网站架构研究”（http://www.ccthere.com/art

3、icle/2357486）是一篇值得反复阅读的好文章。这篇文章不仅对一个大型网站的架构进行了系统解剖，逐条梳理，而且行文深入浅出。可惜这样的文章不多见。关于大型网站实例的讨论，散落在各处，而且内容零散。学习和掌握构建大型网站的架构，需要汇总散落的文章，梳理零散的内容。做好这项工作很有意义，但是也比较困难。我们的体会是，不妨抓住以下几个主题，逐个分析大型网站的实例，然后横向比较。1.Database数据存储历来是麻烦，尤其是需要存储海量数据的时候，往往单个数据库容量不够，甚至一个数据库集群也不够。常见的解决办法是分割，譬如按用户ID把海量数据分割成若干块，每块存储到一个独立的数据库里去。但是分

4、割的做法降低了join操作的效率。GoogleBigtable的效率如何？好处是什么，缺陷是什么？Bigtable对什么样的情景最适用？根据Bigtable原理实现的开源软件，Hadoop/HBase的运行效率如何？1.Cache用户访问网站时，通常读的操作比写的操作更频繁。为了提高读的操作，不妨把相关内容缓存到内存里，减少DiskIO的消耗。MemCached最近大热，Wikipedia,YouTube,Digg,Twitter等等大型网站都在用MemCached作为缓存工具。SquidCache和Varnish等等工具，也与缓存沾边。Twitter的做法是把MemCached和Varni

5、sh结合起来，同时使用。什么样的内容，应该用什么样的缓存工具？不同的工具间如何协调？各大网站的实际运行的结果，有哪些经验和教训？2.FileSystem有些内容，既没必要存放在数据库里，也不适合存放在缓存中，譬如log和images。在这种情况下，我们需要文件系统。当有海量内容需要存放在文件系统中时，我们需要使用分布式文件系统。GoogleFileSystem对于什么样的情景适用，什么样的情景不适用？分布式文件系统常常需要相应的锁机制，保证并发的读写操作不相互干扰。Chubby有什么好处？什么情形下不适用？据说MogileFS更适合存储大量的，但是单体尺寸不大的文件，譬如images。而Go

6、ogleFileSystem更适合存放大尺寸但是数量不多的文件。有没有可能把小尺寸的多个文件，合并成一个大文件，然后存储到GoogleFileSystem中去。在这种情况下，比较MogileFS与GoogleFS的性能，是否有高下之分？3.ThreadManagement一套工序通常由若干任务组成。多线程的办法是由一根线程全权负责整套工序的操作。另外一个办法是把工序斩成几段，每一段由一根或几根线程负责，这种办法称为工作台。常见的是多线程的办法。但是工作台的做法有利于集中计算资源处理繁重的任务，避免瓶颈的出现。但是缺陷是需要在不同线程之间，传递记录中间状态的数据。什么样的情形适合用多线程，什么

7、时候用工作台？4.Scheduler同一个网站通常会提供多种服务，不同的服务需要调用不同的业务逻辑。有些业务逻辑可以在同一台服务器上完成，但是当业务逻辑复杂的时候，需要调用多台服务器合作完成。不同服务的受众对象不同，流量也不同，不同时段的流量也不同，同一时段不同服务的流量也不同，所以需要动态地分配计算资源。这是scheduler的工作。Scheduler给不同服务器分配工作时，最简单的办法是启动预先安装在该服