quantum stornext海量小文件性能测试与调优

《quantum stornext海量小文件性能测试与调优》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、醉生梦死的博客http://www.liusuping.comStorNext概述QuantumStorNext是一款虚拟化平台，能够提供横向扩展存储能力。它使企业可以通过创建流畅的文件存储基础设施来满足各种性能和长期存档要求。除了强大的扩展能力和极高的效率外，灵活性也是StorNext的重要特性－它支持包含多个操作系统、存储设备类型、厂商和存储网络协议的异构环境。它适用于需要使用SAN文件系统实现快速数据访问和低延迟的应用，以及使用分布式LAN客户端的CPU密集型应用。此外，StorNext还包括一些强大的企业级功能，例如，复制和重复数据删除等。QuantumStorNext能

2、够提供高性能文件共享以及企业数据管理和保护，广泛应用于全球大多数数据密集型行业，如：传媒和娱乐、石油和天然气、卫星成像以及基因组研究。StorNext4.0采用的这项成熟技术具有复制、近线重复数据删除、分布式迁移服务器、部分文件恢复以及简单易用的管理控制台等特性。StorNext包括两个核心组件：SAN共享文件系统和存储管理器(StorageManager)，使您能够史无前例地共享、管理和保护您的重要商业信息。StorNext的共享SAN文件系统能够迅速存储信息，实现信息的跨异构平台、富媒体应用以及大多数磁盘和磁带系统的同步共享，从而加快业务经营。StorNext能够更快地处理和

3、发布内容，使客户能够整合共享的图片存储库、媒体内容、分析数据以及其他重要数字资产。即使是在跨Linux、Mac、Unix和Windows操作系统的异构环境中，SAN或LAN中的主机也能轻松地访问所有文件。随着时间的推移，文件的成本和性能特性可能会降低。利用基于策略的分级存储和存档功能，StorNextStorageManager能够降低成本和简化管理。确保数据传输透明化、文件在线并可供访问，同时大幅降低存储和管理成本。StorNext的特征与优势概括如下：·可扩展存储虚拟化·高性能数据共享·跨Linux、Windows、UNIX和Mac操作系统同步整合·大规模可扩展归档·在线分级

4、存储和归档·文件系统容量优化·全局数据保护和数据分发测试目标目前存在一个海量小文件应用，其存储需求概括如下：·文件对象数量约20亿，PB级存储容量，GB级数据吞吐量；·海量小文件应用，85%文件约为1KB，对文件系统IOPS要求高；·高扩展性，客户端数量能够扩展至100~1000台；·多平台支持，包括UNIX、Linux、Windows；·虚拟化共享存储，存储资源统一管理；·数据分层归档支持；·LDAP/NIS/AD安全机制无缝整合；·开放式服务器和存储系统支持。醉生梦死的博客http://www.liusuping.com根据StorNext官方资料和实际部署案例，以及实际实施

5、情况来看，StorNext能够满足上述存储需求。该存储需求有别于普通需求，关键特点是面向海量小文件应用，以往类似案例较少。因此，本次测试主要目标是进一步获取StorNext在这种应用场景下的性能表现，以验证能否真正满足客户的实际需求。本次测试具体目标如下：·文件对象数量能否达到20亿？以及在此场景下的系统性能表现。·海量小文件持续写入速率，即单位时间成功创建并完成写的文件数量。测试在不同已有文件对象总数量场景下的该指标。·海量小文件持续读写吞吐量和IOPS，测试在不同已有文件对象总数量场景下的该指标。·系统扩展能力，即客户端数量与性能指标的增长关系。·系统最大扩展能力，客户端数量

6、能否达到100~1000台？测试环境配置本次测试环境部署总体架构如图1所示，主要由FC交换机、千兆以太网交换机、SAN磁盘阵列、StorNextMDC和StorNext客户端组成。基本配置情况如下：·FC交换机：16口（4Gb）·千兆以太网交换机：16口（1Gb）·SAN磁盘阵列：4台FC盘阵，每台16块磁盘，全做RAID0，其中一台供MDC专用·StorNextMDC：16GB内存、Intel至强3.0GHzCPU、15K转SAS磁盘醉生梦死的博客http://www.liusuping.com·StorNext客户端：8GB内存、双Intel至强3.0GHz双核CPU、15K

7、转SAS磁盘，共5台性能指标(1)   吞吐量数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量，吞吐量以MB/S指标来衡量，体现存储系统在大量数据持续读写时的性能，特别是能衡量在非线性编辑、视频流媒体等需要大量读写环境下，存储持续读写的能力。对于大量顺序读写的应用，则更关注吞吐量指标。这里用来衡量大量小文件读写场景下的数据吞吐量。(2)IOPSIOPS(Input/OutputPerSecond)即每秒的输入输出量(或读写次数)，是衡量存储系统性能的主要指标