高能物理海量数据迁移系统的设计与实现教学教案.ppt

《高能物理海量数据迁移系统的设计与实现教学教案.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、高能物理海量数据迁移系统的设计与实现石京燕，臧冬松，程耀东高能物理所计算中心大纲背景与需求迁移系统设计与实现下一步工作数据迁移需求数据密集型计算需要处理海量数据BESIII实验数据：4PB存储介质：磁盘，磁带大规模数据迁移需求：磁盘磁带库本系统应用对象：针对同站点BES数据迁移BES数据分层存储结构BES数据分层存储结构（续）登录结点服务器，提供用户登录连接、调试程序及提交作业。用户提交的作业被批作业管理系统送到后端的计算结点上运行。所有作业通过对共享文件系统的访问进行数据读写操作。存储采用三级目录结构，计算

2、结点本地硬盘—挂载在文件服务器上的磁盘阵列–磁带库。较高的性价比。迁移系统体系结构体系结构说明用户接口接收用户迁移任务发送给数据传输控制器。数据传输控制器分析迁移任务内容，将迁移任务包装成传输作业提交给数据传输服务器数据传输服务器将传输作业分配到各个传输节点上运行传输节点连接磁盘阵列和磁带库，完成二者之间的数据复制，迁移。数据库用于存放数据传输作业具体信息，并实时更新作业运行状态。用户接口命令行网页传输任务控制器分析传输任务整理迁移文件包装传输作业传输任务控制器（续）实现方法磁带库磁盘对磁带文件根据磁带位置

3、进行排序保证抓取，翻转磁带等机械动作用时最少磁盘磁带库磁盘数据文件磁盘缓冲池磁带计算传输文件大小及个数，判断磁盘缓冲池状态保证磁盘缓冲池有足免的空余空间传输任务分割根据磁带库实际情况将任务分割成多个作业并行进行传输服务器专用的批作业管理系统接收从传输任控制器提交的传输作业将作业调度到传输节点进行传输数据服务器用于存放传输作业信息提供用户查询作业状态作业状态实时进行更新系统实现数据库管理软件：二次开发的CASTORI数据传输服务器：TORQUE2.4.1设置两个传输对列：ToCator,FromCasto

4、r数据库软件：MySQL4.1.2两个数据表：用户数据传输任务信息（用户提交）用户数据传输作业信息（传输任务控制器生成）系统实现（续）传输节点：万兆网卡Castor客户端磁盘阵列客户端数据传输控制器功能模块：Python语言编写作业状态更新模块：C语言编写作业状态周期更新：crontab系统实现(续)下一步工作性能调优根据数据文件所在磁带进行数据作业拆分将磁盘阵列直接挂载到磁带库服务器直接进行复制问题？谢谢！