企业数据集市建设要点分析范文

《企业数据集市建设要点分析范文》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、WORD格式可编辑企业数据集市建设要点分析高并发、低延迟场景下，企业如何建设敏捷高效的数据集市专业知识整理分享WORD格式可编辑目录一、数据集市的发展态势3二、数据集市与数据仓库的对比5三、数据集市的项目建设方案及技术点6四、数据集市建设所需支持及面临的风险9五、数据集市项目验收11专业知识整理分享WORD格式可编辑随着大数据技术的发展，数据量急剧增长，数据的分析挖掘工作也变得越来越重要。在这背后，数据仓库的建设尤为重要，通过数仓，可以为数据分析人员提供全面的数据和计算能力。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断

2、变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。但是数据仓库在高并发、快速响应的场景下具有很大的局限性，无法满足海量投资者数据查询服务需求。数据集市，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特定的主题，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体，提升数据查询的效率。本文围绕着数据集市的需求、架构、方案等方面进行了问题的讨论，对于大家了解和应用数据集市非常具有参考价值。一、数据集市的发展态势Q1：当前，金融行业中在什么场景下需要建设数据集市？是否该启动数据集

3、市建设？数据集市的建设是由哪些因素触发的？A1-1：数据集市(DataMart)，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特定的主题，数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。数仓解决海量数据统计分析，低用户并发，大量计算。专业知识整理分享WORD格式可编辑数据集市低延时和高并发查询的情况下具备足够的支撑能力，可以7×24对外提供数据服务，且不影响原有数据仓库统计分析应用的正常运行。大量生产数据的预处理在数仓进行，数据集市接收数仓预处理后的数据。数据集市是

4、对数仓的补充，灵活、快速响应业务，支持用户部门自行定制数据进行统计分析，支持高并发、性价比较高。A1-2：当用户对大量数据的实时性要求非常迫切，而数据仓库无法满足时，就需要有针对性的对这些数据进行处理，提升存储和计算的效率，这就需要建立数据集市，通过对数据的预处理，提升数据查询处理效率。Q2：企业建设数据集市的动力来自哪里？建设数据集市对金融行业客户有何现实意义？A2：数据集市是数据仓库的一个重要补充，满足客户对数据的即时性要求；传统数仓往往比较重存储，且为了保持数据完整性，而严格按照范式要求保存数据，从而导致计算量很大，时效性较低。建立数据集市，有助于进一步发挥数据价值

5、，因其面向主题，可以对数据做各种处理，从而在设计上提升数据存储和查询的效率。Q3：目前金融行业中，规划或者已经建设了数据集市项目的企业多吗？数据集市在金融行业中发展的态势如何？A3-1：数据集市适合行业内拥有海量数据的公司，需对特定领域服务，通过互联网，对公众、监管机构提供数据服务，好处是快速灵活、降低原有数据仓库成本。A3-2：专业知识整理分享WORD格式可编辑金融行业积累了非常多的数据，数据质量也很高，随着金融业与技术的紧密结合，面向某一领域的数据需求变得越来越强烈，比如行情数据，很多应用都需要，这时如果形成行情的数据集市，提供数据服务，不仅避免重复建设，而且有利于数

6、据的统一管理。Q4：数据集市项目的直接用户和间接用户是哪些方面？数据集市会为用户带来哪些好处？A4-1：直接用户是各业务部门、各业务系统，数仓不直接为各业务系统直接提供数据服务，通过数据集市提供；间接用户是各业务系统的用户，如通过互联网办理业务的投资者用户。直接用户是可以定制化数据服务，方便、快捷，间接用户是快速响应、更好用户体验、高性能和可用性。A4-2：直接用户是业务数据分析人员、业务系统负责人员，对数据有强烈的需求和敏锐的嗅觉，能够将数据价值抽象出来；间接用户就是一线业务人员，可以直接获取该数据价值，对用户及时反馈。数据集市提升了数据交互的时间，使数据的使用变得流畅

7、。二、数据集市与数据仓库的对比Q1：数据集市的出现，会使数据仓库消亡吗？A1-1：不会的，两者在概念上并不完全平级，就像工厂和门店的关系一样，两者应该是相辅相成，充分发挥数据的价值的。Q2：数据集市、数据仓库在方法论上有什么差异，为什么选择不同的技术和平台？相比而言，数据集市和数据仓库各有什么优点和缺点？A2-1：本质上没有区别，如豪华汽车和中端汽车，目的是解决不同场景的问题。专业知识整理分享WORD格式可编辑数据集市(DataMart)，也叫数据市场，是企业级数据仓库的一个子集，是为满足特定的部门或者用户的需求，只面向某个特