大鱼集群存储系统-高清非编方案

《大鱼集群存储系统-高清非编方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大鱼集群存储系统高清非编方案北京聚存科技有限公司2016.81项目背景XXXX部门主要负责XXX节目的后期制作，随着业务的发展，现有非编网中的工作站数量持续增多，视频素材的分辨率、码流、数量都不断增大，使得原有存储系统的性能及容量都不能满足需求。因此，XXX部门决定对当前存储系统升级，使其可用容量不小于XXXTB，聚合IO带宽可达到10GB/s，满足XX台高清/超高清编辑工作站并发运行的存储性能需求。2需求分析对于一个典型的非线性编辑网，存储系统的功能和性能是整个方案的核心。通过对用户需求的充分了解，本次存储系统升级的功能和性

2、能需求可以列举如下：l性能需求存储系统性能应满足目前网内多台非编工作站同时流畅操作的性能要求，对于存储系统而言，总的聚合I/O带宽需求约为：10GB/s，主要表现为读性能要求。同时，视频制作受到帧率的约束，对延迟有最低要求,因而存储系统的访问延迟应能满足大并发的情况下制作软件能流畅工作，无明显掉帧的要求。随着业务发展，编辑网规模扩大、素材量增多，视频分辨率倍增，高帧率普及的情况均会随之到来，因此存储系统还应随时扩展以支持海量的视频素材，以及4K超高清、高帧率（50FPS、60FPS）节目的制作。l跨平台数据共享用户编辑网内同时

3、存在windows和Linux编辑工作站，工作站之间要求可数据是是共享。同时，还应能对接其它办公和业务系统，例如：媒资、审片，日常办公数据存储等。因而对存储系统而言，不但要支持多种主流操作系统，而且要支持通用的网络文件访问协议，如：NFS、CIFS、FTP等。各种基于上述接口的传统应用均可无缝的迁移至本存储系统，实现跨接口、跨节点的数据共享。l兼容各种主流视频/音频制作软件兼容不同版本的各种主流影视制作软件，包括：AfterEffect，CharacterAnimator，Illustrator，Photoshop，Premi

4、ere等，Mac平台之上的FinalCutPro/ProX，Eduis，DavinciResolve，MPEGStreamclip，Transmit，WondershareVideoConverterUltimate，SubtitleController，3DMax，Maya，C4D等。同时，还应兼容常见的办公软件，如：Microsoft的Word，Excel，PowerPoint和Outlook等。总而言之，从用户角度，使用存储系统如同使用单机存储，无软件兼容性的问题。l数据隔离与访问控制基于用户的业务模式，同时使用该存储系

5、统的用户会按照部门、业务进行划分，不同部门/业务之间的数据应首先能做到相互隔离互不可见，同时，在用户授权的情况下，还能实现数据的跨部门/业务共享。因此要求存储系统支持多租户模式，可想不通用户提供逻辑上独享的存储空间。另一方面，由于不同的业务人员对不同项目数目有不同访问权限，存储系统应能实现完备的访问控制功能，确保一个项目的数据不被非部门人员、非授权用户所访问。l配额与审计在用户应用环境中，不同的部门/项目对存储资源的占用可能不同，为了更为有效的利用存储资源，存储系统应支持对目录/用户设定容量配额，确保各部门对存储资源的合理占用

6、。另一方面，存储系统应能对用户操作进行记录，实现用户操作审计功能，作为数据隔离与访问控制的补充，可以有效的审核非正常的数据访问，读非法数据修改、访问提供追责依据。l易于扩展考虑到用户业务后期的快速增长，存储系统的扩展能力是最为重要的需求之一。一方面，随着时间推移，存储系统中累计的数据会持续增加，存储容量的需求会不断加大。另一方面，随着主流视频分辨率的不断攀升，4K/8K代替高清是必然的趋势，由此带来的性能问题会更为突出。因此，存储系统应采用具有高可扩展能力的分布式存储架构，使用通用的X86服务器构建，可实现模块化在线扩展，扩展

7、过程方便快捷，并且不会中断上层业务，扩展后性能/容量均可有效增加。l数据可用性要求存储系统应提供灵活的数据可用性机制，可高效的容忍存储系统内的任何单点故障，如：网络、硬盘、节点、软件模块等。任何单点故障发生时，存储系统的数据服务应具有自动故障切换能力，有效保证上层业务的延续性。同时还应支持自动数据恢复，以尽快使得受损数据恢复到安装状态。l系统管理需求存储系统还应提供完善的系统管理功能，提供图形化的管理界面，通过该界面即可完成日常的系统管理工作。同时提供短信、邮件、微信等多种方式的事件报警机制。存储系统管理还应实现多种自动化管理

8、功能，以降低管理工作复杂度，包括：自动故障切换、自动数据恢复等等。l高效利旧现有存储系统的存储资源应能加入到新存储系统中，新存储系统在构建时，应提供完整的设备利旧方案，充分利用现有硬件资源，同时提供完备的数据迁移、业务迁移方案。3存储系统方案通过对上述需求的分析和研究，我们设