大数据平台建设的数据“治理”

《大数据平台建设的数据“治理”》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大数据平台建设的数据“治理”本文讲述了以用户为中心的自服务大数据治理的实现方法和关键技术。本文目录：一、大数据时代还需要数据治理吗？二、如何面向用户开展大数据治理？三、面向用户的自服务大数据治理架构四、总结一、大数据时代还需要数据治理吗？1、数据平台发展过程中随处可见的数据问题大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就开始了，从第一代架构出现到现在已经经历了近20年的时间。在这20年的时间里，国内数据平台实施者可以说是

2、受尽折磨，数据项目一直不受待见，是出了名的脏活累活。可以说，忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一，难以提升的数据质量，难以完成的数据模型梳理等源源不断的基础性数据问题，限制了数据平台发展，导致数据应用不能在商业上快速展示效果。举一个典型商业智能应用的例子，管理驾驶舱可能很多朋友都听说过，很多企业建设了管理驾驶舱，但是建设完之后往往成为摆设，只有当领导需要看的时候，大家才去拼命改数据。为什么数据平台的建设遇到这么多“坎”，而且难以真正发挥其商业价值？其实核心问题还是数据本身不统一，数据内容准确度不高。2、

3、数据治理逐渐受到各行业认识我国最早意识到数据治理重要性的行业银行是金融行业。由于对数据的强依赖，金融业一直非常重视数据平台的建设，经过几代数据平台的验证，发现数据治理是平台建设的主要限制因素，而且随着投资和建设的投入增加，对数据治理的重要性的认识也越来越深刻。人民银行与银监会也非常重视数据治理，从08年开始，在全国银行业推行统一的数据标准，控制行业的数据质量。工行、建行、国开等大型银行，对数据治理都非常重视。08年前，我们与国开一起开始了数据治理的建设，下图展示的就是国开银行针对数据全生命周期的数据管控。 如今各行业都开始了大数

4、据平台的建设，希望利用大数据的能力，来实现数字化转型。大数据平台的建设本质上还是数据的建设，传统数据平台碰到的所有问题大数据平台都有可能碰到，由于数据量级的变化，大数据平台必然还会产生新的问题。3、大数据时代下需要新一代的数据治理能力目前大数据平台的突出问题主要体现在以下四方面：数据不可知：用户不知道大数据平台中有哪些数据，也不知道这些数据和业务的关系是什么，虽然意识到了大数据的重要性，但平台中有没有能解决自己所面临业务问题的关键数据？该到哪里寻找这些数据？数据不可控：数据不可控是从传统数据平台开始就一直存在的问题，在大数据时代

5、表现得更为明显。没有统一的数据标准导致数据难以集成和统一，没有质量控制导致海量数据因质量过低而难以被利用，没有能有效管理整个大数据平台的管理流程。数据不可取：用户即使知道自己业务所需要的是哪些数据，也不能便捷自助地拿到数据，相反，获取数据需要很长的开发过程，导致业务分析的需求难以被快速满足，而在大数据时代，业务追求的是针对某个业务问题的快速分析，这样漫长的需求响应时间是难以满足业务需求的。数据不可联：大数据时代，企业拥有着海量数据，但企业数据知识之间的关联还比较弱，没有把数据和知识体系关联起来，企业员工难以做到数据与知识之间的快

6、速转换，不能对数据进行自助的的探索和挖掘，数据的深层价值难以体现。通过分析以上四类问题，我们发现传统数据平台面临的问题，在大数据时代不仅没有消失，还不断涌现出新的问题，传统的数据治理需要提升能力，来解决大数据平台建设过程中的这些问题。在传统数据平台阶段，数据治理的目标主要是做管控，为数据部门建立一个的治理工作环境，包括标准、质量等。在大数据平台阶段，用户对数据的需求持续增长，用户范围从数据部门扩展到全企业，数据治理不能再只是面向数据部门了，需要成为面向全企业用户的工作环境，需要以全企业用户为中心，从给用户提供服务的角度，管理好数

7、据的同时为用户提供自助获得大数据的能力，帮助企业完成数字化转型。二、如何面向用户开展大数据治理？1、面向用户的大数据治理实践案例很多企业经过一段时间的摸索，已经看到了用户对大数据治理的这种需求，大数据治理也持续在各行业的大数据平台建设中得到关注。在我参与过的项目中给大家举个例子。最近普元主导了某电力公司的新一代数据治理平台建设，我们融合该电力公司现有的数据管理工具建设成果，以元数据为基础，实现了贯穿数据设计、产生、存储、迁移、使用、归档等环节的数据全生命周期管理，以及数据从源端到数据中心，再到应用端的全过程的管理，做到了以用户为

8、中心，通过大数据治理，为用户提供了更便捷、更灵活、更准确地获得企业大数据资产的能力。该电力公司的大数据治理的起点是先以元数据为基础，构建数据资产管理体系。从用户的视角说明白企业数据有哪些，哪些用户能够使用。在该电力公司的数据资产定义过程中，我们选择了贴近业务用户