资源描述：
《大数据环境下的数据迁移技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、MicrocomputerApplicationsVol.30,No.5,2013研究与设计微型电脑应用2013年第30卷第5期文章编号：1007-757X(2013)05-0001-03大数据环境下的数据迁移技术研究王刚，王冬，李文，李光亚摘要：数据是信息系统运行的基础和核心，是机构稳定发展的宝贵资源。随着信息系统数据量成几何级数增加，特别是在当前大数据环境和信息技术快速发展情况下，海量数据迁移是企业解决存储空间不足、新老系统切换和信息系统升级改造等过程中必须面对的一个现实问题。如何在业务约束条件下，快速
2、、正确、完整地实现海量数据迁移，保障数据的完整性、一致性和继承性，是一个关键研究课题。从海量数据管理的角度，阐述了海量数据迁移方法，比较了不同数据迁移的方案特点。关键词：大数据；数据迁移；存储中图分类号：TP391文献标志码：ADataMigrationTechnologyResearchBasedonBigDataEnvironment12,32WangGang,WangDongLiWen,LiGuangya(1.InformationCenterofShanghaiMunicipalHumanResou
3、rcesandSocialSecurity,Shanghai200051,China;2.WondersInformationCo.,Ltd.,Shanghai201112,China;3.ShanghaiInstituteofForeignTrade,Shanghai201600,China)Abstract:Thedataisthecoreresourceoftheinformationsystem,itisthebasisoftheenterprise,Withthecontinuousofbusin
4、ess,ageometricincreaseintheamountofdatageneratedbytheinformationsystem,especiallyinthecaseofcurrentdataenvironmentandinformationtechnology.Themassivedatamigrationisarealproblem.Withthebusinessconstraints,themassivedatamigrationisakeyresearchtopic,inthispap
5、er,fromthepointofviewofthemassivedatamanagement,elaboratedamassivedatamigrationme-thod,andcomparethecharacteristicsofdifferentdatamigrationprogram.Keywords:BigData;DataMigration;Storage0引言的发展，针对数据迁移整体管理缺少研究。本文结合某特大型城市社会保险信息系统管理过程中大数据环境下，海量数数据一直是信息系统的基础和核心。
6、一方面，随着企据迁移问题进行整体分析，对可能需要大数据迁移的驱动因业业务的发展，信息系统覆盖面的扩大，管理和服务精细化素和在数据迁移过程中需要关注的各类风险点进行了汇总层度的深入，集中式的管理信息系统正在不断应运而生，各分析，根据这些风险对数据迁移的各类方案进行分析、研究行各业都先后出现了规模庞大的数据中心。这些数据中心经和论述，最后针对实际工作给出了实际应用。过一段时间的运行，其数据量正成几何级增长，有的甚至可以达到TB级或PB级。另一方面，新的技术架构和业务操1数据迁移驱动分析作对性能指标提出了更高的要
7、求，而这些要求往往需要通过1)新老系统切换需要：数据作为企业的核心资源，是软件升级或者硬件更新的方式来实现，因而在新老系统的切企业业务连续和发展的基础，因此当信息系统更新换或升级改造过程中，势必会面临一个现实问题――数据迁[1]或者新老系统切换时，需要对老系统的数据进行整移。吕帅等人从分级存储管理的角度提出了混合存储环境理，抽取，并按照新系统的业务逻辑和数据规则进下的数据价值评估模型和迁移过程控制理论，提出了数据价[2]行迁移，以保障业务的连续性。值的精确判定。徐燕等人利用编程基础实现了异构数据库2)搬迁或
8、数据中心合并需求：很多政府政策上的指导系统间的数据迁移，提出了数据迁移的抽取、转换和载入3[3]引发了组织结构的变化以及数据分布的改变。一个个过程。李喆等从项目管理和方法论角度描述了企业级数[4]非常有名的例子是美国的金融监管法案据迁移的过程。张玺针对数据从磁盘到磁带的数据迁移问[5](Ring-FencingSenario)，这个法案要求所有的银行题，提出了并行文件处理方式。丛慧刚等人，从元数据角把数据通过几个
