安防时代浅谈集群存储技术

安防时代浅谈集群存储技术

ID:44000345

大小:226.71 KB

页数:3页

时间:2019-10-17

安防时代浅谈集群存储技术_第1页
安防时代浅谈集群存储技术_第2页
安防时代浅谈集群存储技术_第3页
资源描述:

《安防时代浅谈集群存储技术》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、随着网络视频行业不断走向成熟,越来越多的企业都参与到视频网站建设屮来,竞争愈加激烈,而带宽、服务器、存储、编解码等各项技术直接关系到竞争优势。存储系统作为视频数据的载体,其IO性能和可扩展性、可靠性对整套系统架构起着至关重要的作用。集中存储在面对海量数据存储时,以往用户会采用传统的使用方法:集中存储,将所冇的数据存放丁•一个单一大容屋盘阵或者存储服务器中,并釆用较高等级的RAID进行数据保护(如RAID5、RAID6等)。■件*MIIFTPaMI匚OA*MIKWMHSii这种类型的方案确实给用户带来了

2、一定的益处,那就是数据可以集中管理,用户不用忙于数据迁移工作。但集中存储方案中整套业务的町靠性完全集中于单个存储设备Z上,用户将所有数据集屮存放将会带來集屮崩溃的反作用。而且故障发牛点也不仅局限于磁盘,网络、RAID控制器、供电、系统、人为误操作等各类故障都潜在威胁着数据安全,任何一点的故障都可能造成服务中断,甚至数据丢失。数据存储采用集屮式存储时,所有的数据读写都必须通过其有限的10总线。尤其在视频分享一类的应用中,大量用八并发访问会给存储系统带來巨大的10压力。分散存储数据的分散存储结构将服务器的

3、计算资源与存储资源紧紧地绑定在一起,等于是各项资源被困在某一处。在计算资源方面,即使是一部分热点数据前端的应用服务器计算处理能力不足,大部分较为冷门数据前端的应用服务器也得不到充分利用。在存储资源方面,也存在部分存储系统空间被耗尽,而萇他存储系统却只有小部分数据。这样,山于资源难以灵活调度,庞大的计算资源和存储资源利用率低F。在数据虽不断扩大的情况下,存储的规模也会不断扩展,整套存储平台的管理维护工作的难处也就逐渐地凸现出来,平台的潜在故障对数据安全性的威胁也逐渐增人。BffKSSFTPMftHOAM

4、flIWMBAfl数据一口被分散存储到多套存储系统上,各存储系统的网络、磁盘、软件BUG、人为误操作等各种危险故障,都会给部分数据造成威胁。并「L,随着规模扩大,各种故障出现的概率也就越大。管理员为了保障数据的安全而忙于处理数据备份、迁移,过多的人为参与也增加了课操作的危险。集群存储冃前,非结构化数据爆炸性增长、传统存储系统难以满足需求,于是诞生了一种新型数据存储方案:集群存储。它采用数据分布到集群中各节点上的存储方式,提供单一的使用接口打界面,使川户对以方便地对所冇数据进行统一使川与管理。集群存储将

5、集群中所冇磁盘设备整合到单•一•的共亨存储池屮提供给前端的丿垃川服务器,极人提高了磁盘利川率。集群存储系统同吋集合了NAS的数据共享和SAN的高性能等特性,可以为非结构化数据提供具备极高10带宽和灵活可扩展性的存储解决方案。FTPK»BOAKSil集群存储现在已经发展到了一个成熟的时期,多款成熟的产品已经在不同的生产领域得到实际使用,帮助企业提升竞争力。例如,著名视频分享网站Youtube,使用Google的GFS等集样存储技术搭建了极具伸缩性和性价比的集群存储架构,以支撑极高的并发访问量和视频上传量

6、,具有高聚合带宽和高可用的特点,并很好地控制了软硬件费用支出,为业务长期运转打下了良好基础。LoongStore大规模集群存储系统是北京龙存科技有限责任公司的旗舰产品,具有臼主知识产权。那么,该产品是如何解决视频分享网站所关心的存储难题的呢?如何满足视频分拿不断增氏的10带宽和存储容虽盂求?LoongStorc人规模集群存储系统由应用服务器集群、元数据服务器集群、智能存储服务器集群等三部分组成,各部分都以通川服务器破件为构建单元,并R都具冇动态扩展能力。当视频分享服务器增加、10带宽需求增加时,川户可

7、以动态添加智能存储服务器,以获得更高的聚合带宽和更人的存储容量。存储集样中有软硬件故障是否会影响业务正常进行?LoongStore大规模集群存储系统在集群环境中使用了数据高可用技术,可以避免因节点、网络、系统等故障和人为误操作引起的业务中断和数据丢失,系统内置的故障恢复流程可以在无用户参与的情况下完成处理。LoongStore已经被国内多个大型视频分享网站所采用。山于使用通用的服务器硬件,用户无需考虑兼容性、价格、复杂的配置等因素。在实际使用中,LoongStore存放着上千万个视频短篇,提供数百TB

8、的存储容量、高达数GB的聚合带宽,企业以更低的支出成木获得了更高的10性能,管理员也从原来数据迁移与故障恢复工作中脱离出来。

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。