TFS文档_计算机软件及应用_IT计算机_专业资料

《TFS文档_计算机软件及应用_IT计算机_专业资料》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、TFS传输文件撰作人：许昌河马金星TFS介绍TFS(TaobaoFileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海屋的非结构化数据，它构筑在普通的Linux机器集酬上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M,满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可川性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。TFS总体结构一个TFS集群由两个Nam

2、eServer节点(一主一备)和多个!DataServer节点组成。这些服务程序都是作为一个用户级的程序运行在普通Linux机器上的。在TFS屮，将大量的小文件(实际数据文件)合并成为一•个人文件，这个人文件称为块(Block),每个Block拥有在集群内唯一的编号(BlockId),BlockId在NameServer在创建Block的时候分配，NameServer维护block与DataServer的关系。Block【I〔的实际数据都存储在DataServer上。而一台DataServer服务器一般会冇多个独立DataServer进程存右鳥每个进程负责管理一个挂载点，这个挂载点一般

3、是一个独立磁盘上的文件口录，以降低单个磁盘损坏带來的影响。TFSNameServerNameServer丄要功能是：管理维护Block和!DataServer相关信息，包括DataServer加入，退出,心跳信M,block和!DataServer的对应关系建立,解除。正常情况下,一个块会在DataServer±存在，主NameServer负责Block的创建，删除，复制，均衡，整理,NameServer不负责实际数据的读写，实际数据的读写由DataServer完成。TFSDataServerDataServer主要功能是：负责实际数据的存储和读写。同时为了考虑容灾，NameServe

4、r采用了HA结构，即两台机器互为热备，同时运行,一台为主，一台为备，主机绑定到对外vip,提供服务；当主机器宕机后，迅速将vip绑定至备份NameServer,将其切换为主机，对外提供服务。图中的HeartAgent就完成了此功能。blockid.file»d/1厂、Applicabon/CbentdataVerveria(blockid.fileid)TFS的块人小可以通过配置项來决定，通常使川的块大小为64M。TFS的设计冃标是海量小文件的存储，所以每个块中会存储许多不同的小文件。DataServer进程会给Block屮的每个文件分配一个ID（FileID,该ID在每个Block中

5、唯一），并将每个文件在Block中的信息存放在和Block对应的Index文件中。这个Index文件一般都会全部load在内存，除非出现DataServer服务器内存和集群中所存放文件平均大小不匹配的情况。另外，还可以部署一个对等的TFS集群，作为当前集群的辅集群。辅集群不提供來自应用的写入，只接受來自主集群的写入。当前主集群的每个数据变更操作都会重放至辅集群。辅集群也可以提供対外的读，并且在主集群岀现故障的时候，可以接管主集群的工作。⑴TFS存储机制在TFS中，将大量的小文件（实际用户文件）合并成为一个大文件，这个大文件称为块（Block）oTFS以Block的方式组织文件的存储。每

6、一个Block在整个集群内拥有唯一的编号，这个编号是山NameServer进行分配的，而DataServer±实际存储了该Block。在!NameServer节点屮存储了所有的Block的信息，一•个Block存储于多个'DataServer屮以保证数据的兀余。对于数据读写请求，均先由!NameServer选择合适的'DataServer节点返回给客八端,再在对应的!DataServer节点上进行数据操作。!NameServer要维护Block信息列表，以及BlockA/*!DataServerZ间的映射关系，其存储的元数据结构如下：WritableBlockListwblockBlo

7、ckListDataServerListrblockblockblockmastermastermast«rSERVERblockmasterWriteLeaseList在!DataServer节点上，在挂载目录上会有很多物理块，物理块以文件的形式存在磁盘上,并在IDataServer部署而预先分配，以保证后续的访问速度和减少碎片产生。为了满足这个特性，！DataServer现-•般在EXT4文件系统上运行。物理块分为主块和扩展块，一般主块的大