【c#.net】利用fastdfs打造分布式文件系统

《【c#.net】利用fastdfs打造分布式文件系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、【C#

2、.NET】利用FastDFS打造分布式文件系统2012-01-0911:17by熬夜的虫子,2933阅读,15评论,收藏,编辑关于分布式文件系统之前已经写过一些随笔不过没怎么用心本篇详细的整理一下背景海量存储、系统负载的迁移、服务器吞吐的瓶颈等等让文件系统独立于业务系统提高整个项目的扩展性以及可维护性目前主流的方案MFSFASTDFSGFSLUSTREHADOOP等等我选择的是FASTDFS用一句广告语来说“免费、快速、找得到”。FASTDFS的作者是淘宝的资深架构师余庆，很诙谐、很有爱！！！其他方案还没玩过暂不评论

3、。简介FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类googleFS，不是通用的文件系统，只能通过专有API访问，目前官方提供了C、Java和PHPAPI为互联网应用量身定做，追求高性能和高扩展性,FastDFS可以看做是基于文件的keyvaluepair存储系统，称作分布式文件存储服务更为合适。特点：分组存储，灵活简洁对等结构，不存在单点文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的nameserver和流行的webserver无缝衔接，F

4、astDFS已提供apache和nginx扩展模块大中小文件均可以很好支持，支持海量小文件存储存储服务器上可以保存文件附加属性名词解释：TrackerServer：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。在内存中记录集群中group和storageserver的状态信息，是连接Client和Storageserver的枢纽。因为相关信息全部在内存中，Trackerserver的性能非常高，一个较大的集群（比如上百个group）中有3台就足够了。 StorageServer：存储服务器，文件和文件属性（metad

5、ata）都保存到存储服务器上。实践-服务端系统：ubuntu开发工具：vimweb服务：nginx基于socket自定义通信协议服务端的安装参考官方文档有不懂的可以联系虫子这里说下问题比较多的2个地方一个是libevent的版本问题另一个是ubuntu最新版本中对于libpthread等库文件的存放位置问题安装完fastdfs以后假设你的服务端程序安装在/usr/local目录 第11页我们会在bin目录下找到以下文件storage服务器启动命令 /usr/local/bin/fdfs_storaged/FastDFS/co

6、nf/storage.conftracker服务器启动命令 /usr/local/bin/fdfs_trackerd/FastDFS/conf/tracker.conf我们运行monitor查看下配置信息groupcount:1  Group1:groupname=testfreespace=5GBstorageservercount=2activeservercount=2storage_port=23000storage_http_port=0storepathcount=1subdircountperpath=3cur

7、rentwriteserverindex=0      Host1:        ip_addr=192.168.234.139(ubuntu) ACTIVE        totalstorage=9GB        freestorage=5GB        total_upload_count=2        success_upload_count=2        total_set_meta_count=0        success_set_meta_count=0        total_dele

8、te_count=0第11页        success_delete_count=0        total_download_count=0        success_download_count=0        total_get_meta_count=0        success_get_meta_count=0        total_create_link_count=0        success_create_link_count=0        total_delete_link_cou

9、nt=0        success_delete_link_count=0        last_heart_beat_time=2012-01-0518:45:50        last_source_update=2012-01-0501:20:28        last_s