大型数据中心数据清理的策略与方法

《大型数据中心数据清理的策略与方法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、2012-07-13######鮒######2012-07-13######韬012-07-13########大型数据中心数据清理的策略与方法中国工商银行股份有限公司数据中心（上海）杨娟娟数扌2012-07-1：J如涉及賓户、##2012-07-13######朦）12-07-13########［序号数据生命阶段说明举例1•1•11在线阶段数据产生与使用阶段-------------以银行卡为例：客户新办詢•张牡丹灵通卡，银行卡系统屮牛成客户牡丹灵通卡借息，如卡号等:•j2归档阶段数据备份与保存阶段客八相关K•信息被清理后保j存衣具他磁带中i1•i3销毁阶段数据被销毁至

2、消失阶段m磁带屮又保存1年后，客卅的牡川•灵通卡相关信息可械删除或者介质销毁i•表1数据生命阶段说明银行大型数据中心具有数据类型多、数据量大、来源不唯一、处理环节多及数据安全性要求高等特点,其数据管理面临很多风险。本文从数据清理角度探讨防控数据管理风险的策略与方法，以期达到不断优化系统资源、降低运维成本、提高运行效率和数据管理水平的目的。—、数据管理面临的风险1.在线数据量增长快速-增加系统性能容量压力随着经济的发展，银行业务量迅猛增长，带来的显著问题是在线数据量的急剧膨胀，对系统的性能、容量及扩充能力提出更高要求，一旦在线数据量超出系统性能容量处理范围，将影响系统的稳定运行，

3、妨碍业务的顺利开展。2.历史数据积累•降低程序效率且浪费存储资源随着时间的推移，部分在线数据业务上已不再频繁使用，被访问频率越来越低，使用价值也随之降低，逐渐转变成历史数据。大量历史数据堆积在生产系统上，一方面降低程序执行效率，影响数据服务的时效性；另一方面由于在线数据量增加，导致大量高端存储等系统资源浪费。3.据质量缺陷，降低数据质量服务水平因数据量大且处理环节多等特点，存在如数据不完整、不准确（不符合业务的需求）、不一致等数据质量问题，甚至因程序等故障造成的数据错误刪除，导致数据丢失而不可用，无法满足业务部门或客户需求，大大降低了数据质量服务水平。4.数据安全隐患，增加了信

4、息泄露或丢失风险账务等重要数据，因此数据的保护措施如不严密，可能导致数据泄露、遭到破坏或者丢失，进而造成客户和企业的经济损失，损坏银行信誉。5.数据保存方式多样，导致数据查询效率低数据中心采用多种存储设备保存不同类型的数据，如磁盘、光盘及磁带等，针对多样的保存方式，存在数据査询途径不一致、查询不够便捷等问题，降低了审计、司法机构及客户数据查询效率。二、数据清理与数据生命周期数据在线生成后，随着时间推移会变成历史数据，为提高系统的运行效率及资源利用率，将历史数据从生产系统中剥离，这个剥离的过程即为数据清理。为了满足后续业务的查询需求，被清理的数据需转移到其他存储设备中进行归档保存

5、一段时间后进行销毁。以上整个过程构成了数据的生命周期•主要包括数据在线、归档和销毁三个阶段，具体说明见表1。数据清理存在于在线阶段到归档阶段和销毁阶段的各个环节，是数据生命阶段转变的为键。三、数据清理策略数据清理策略是对不同数据的清理实施条件、清理方式、数据保存方式等规定的集合，是数据清理实施的基础。1.数据清理的要素因数据清理与数据生命周期密切相矢,本文依据数据生命阶段总结数据清理策略尖键要素及说明，具体见表2。其中，在线阶段确定了数据清理的条件；清理实施阶段规定数据清理的具体方式；归档阶段则需明确清理表2数据清理策略关键要素分类及说明阶段1111要索分类说明i举例i••••

6、•1•191•••11•'水久保存数据从产仆•开始一玄亦久产系统屮保:个人基木信息从客户注册后永久亦线保留，不淸理i存，此类数据不需要进行淸理••••11•••1•••1•i在线阶段91•••11•1在线保存期限数据被标记为失效戒过期后在纹保存时间数据被标记为失效或过期后衣系统中i银行卡系统账户状态标记为“销户”后茯线保存1年i保存一段时问后需进行淸理i可淸理••••■■・・数据牛成后保留的时间数据在线牛成一段时间后茄进行消理1银行卡交易明细2011年5月17日生成，衣线保存期限：汀年，则2012年5月18口可消理•11•••1•••1•••1•191下一生命阶段归档阶段L销毁

7、阶段数据从生产系统淸理出后进入归档阶俶行*交易明细祓淸竝后遍注亲统建疔无线鬲宿葆j段，进行备份并保存［存・■殴据从生丘系统淸理出后进入誦应阶［临时文种座成后，直琢彼新的文祚孩語销毁•・无需i段，无需备份并保存，直接进行销毁［保存••1•1••数据更新数据实时更新，无效数据被自动覆盖［一•・•••・1•1••191e9991e999清理方式联机淸理数据在联机交易时被删除，如由用门；通过系统前台界面进行手工删除，域一据直接淸理而无需保留>«e9•1••；批呈消理迪过批虽押序消理••••:消理实施