Castor海量数据预留系统 - 中国科学院高能物理研究所

Castor海量数据预留系统 - 中国科学院高能物理研究所

ID:8405996

大小:2.46 MB

页数:21页

时间:2018-03-20

Castor海量数据预留系统 - 中国科学院高能物理研究所_第1页
Castor海量数据预留系统 - 中国科学院高能物理研究所_第2页
Castor海量数据预留系统 - 中国科学院高能物理研究所_第3页
Castor海量数据预留系统 - 中国科学院高能物理研究所_第4页
Castor海量数据预留系统 - 中国科学院高能物理研究所_第5页
资源描述:

《Castor海量数据预留系统 - 中国科学院高能物理研究所》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、GRASS文件预留系统黄秋兰/高能所计算中心2010-08-17主要内容项目背景及意义系统设计与实现系统的关键技术总结与展望项目背景GRASS(Grid-enabledAdvancedStorageSystem)是异构介质的分级存储系统GRASS文件预留系统的处理对象是GRASS中的海量数据GRASS文件预留系统是BES数据管理系统的有机组成部分解决的问题存在问题GRASS的迁移策略:存储池水位和迁移时间间隔(系统级的因素)没有全面考虑用户的使用模式与需求采取的措施基于用户级的数据迁移,生成用户指定的文件预留列表,根据预留列表将用户预留的文件保存在磁盘上

2、避免用户频繁访问的数据迁移到磁带库,从而提高数据访问速度系统总体设计为高能所计算中心的GRASS系统提供服务,改进GRASS系统的数据迁移功能,实现面向用户的数据迁移,从而提高用户访问数据的速度。GRASS文件预留系统----C/S形式使用形式:reserve命令参数[--dataset]文件名/数据集名命令参数:-q查询预留信息-c修改预留天数-r预留文件-d删除预留文件注:支持正则表达式File1*,file2?,…,file[x-y](其中*、?、[x-y]位置任意)GRASS文件预留系统----B/S形式系统的WEB形式主要基于Structs+H

3、ibernate+Mysql框架开发子模块设计功能实现----用户登录界面功能实现----主页显示显示当前的登录用户功能实现----GRASS系统的目录信息功能实现----GRASS数据操作BrowsedatasethierarchyCancelReservationReservationSubmitTransferRequestSubmitDeldataReplicaSelectadestinationsitesearchyourdata功能实现----预留信息修改用户可以对选定的预留信息进行修改,默认的预留天数为30功能实现----预留信息浏览关键技

4、术----AFS用户登录采用AFS账号登录认证,实现与整个集群环境的有机整合无需对用户管理,节省资源后台实现调用AFS用户认证的klog命令获取tokens关键技术----Ajax技术的使用未使用Ajax和使用Ajax的WEB比较关键技术----Ajax技术的使用GRASS目录树的实现采用AJAX技术动态构造目录树,服务器无需一次将海量数据装载到WEB浏览器,这大大缩短服务器的响应时间。预留所有对象按钮的实现在用户发出请求时,后台才处理nsls–lfilepath命令,获取filepath下的所有文件,无需每次装载页面时处理,大大缩短WEB页面与服务器的

5、交互时间关键技术----GRASS文件分页显示自定义的分页提出的原因:当目录下文件数目太多时,nsls、nslisttape等命令反应太慢解决的方法:重新编写GRASS文件显示命令,每次只返回一个页面的记录数,无需将所有记录数返回给WEB前端,解决文件数目太多(成千上万个)显示慢的问题。使用方法:myls–sstartN–eendN(仅返回endN-startN+1条记录)运行结果性能上已基本满足应用需求利用MercuryLoadRunner8.1测试软件进行测试模拟不同的用户量进行并发测试:10,50,100,500,800等测试结果显示,目前系统在4

6、00到500个用户并发访问下是稳定的测试环境已部署http://cdev01.ihep.ac.cn:8080/FileReserve/main.jsp小结本系统旨在解决GRASS分级存储系统的迁移策略存在的问题,实现面向用户的数据迁移,提高用户访问数据的速度。主要实现的功能有:实现命令行和图形界面两种用户接口实现WEB界面上的动态目录树构造,便于浏览GRASS系统的海量数据重写GRASS数据显示命令,从而解决文件数目多,服务器反应慢的问题实现基于文件、数据集以及磁带的预订实现预留信息的浏览、修改、删除、批量预留、批量修改及批量删除功能实现AFS、GRAS

7、S及LUSTRE的有机结合具有良好的通用性和扩展性,是较好的海量数据管理软件的辅助工具。本系统正在申请软件著作权。谢谢大家!

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。