最新中国电信ods规范培训

《最新中国电信ods规范培训》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2021/8/291ODS规范培训--技术分册与ODS应用中国电信股份有限公司广州研究院广东省电信有限公司研究院2021/8/292提纲ODS规范技术分册系统技术架构系统技术要求系统实施系统部署硬件评估方法示例第三方工具评价标准及产品比较ODS应用附件ODS数据共享ODS应用2021/8/293系统技术架构使用者其他应用HTMLWeb服务业务组件数据访问用户界面界面组件ETL/EAI组件生产系统数据界面生成框架规则配置数据服务组件接口层CRM数据计费数据结算数据……整合层参与人产品帐务事件资源地域数据处理组件汇总层汇总数据区域数据整合数据存储数据共享数据应用外部访问数据源ODS系统REPO

2、RT2021/8/294系统技术特点批量数据加载和实时数据更新并存三范式模型、星型模型、宽表模型并存细粒度数据和汇总数据并存事务型查询和分析型查询的并存数据保存周期介于生产系统和EDW之间ODS系统不同于事务处理为主的生产系统，也不同于统计分析为主的数据仓库系统。系统需要支撑跨域数据查询,数据共享等功能，还需要支撑生产系统对一定周期内运营数据数据的统计监控等功能2021/8/295系统总体技术要求网络与硬件方面采用安全可靠的高速磁盘阵列设备，支持多机高可用群集系统，磁盘阵列与主机系统采用SAN方式连接；采用高速可靠的网络设备，提供高速的I/O能力；主机支持多机群集或海量并行处理技术，支持分

3、区技术；主机采用高可用性(HA)和负载均衡的方式，防止单点故障，提高系统可用性和系统资源的使用率。软件方面选择对OLTP和OLAP应用都具备稳定处理性能的数据库引擎；选择能对数据整合过程进行有效监控和管理的数据整合工具或技术；选择提供各种接入方式的报表查询和统计分析功能的报表工具；选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，；采用能对系统内的软硬件节点进行监控和自动预警的系统监控软件；制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能；为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避免CPU、Memory、IO等资源的争

4、抢，设计良好的数据文件/表空间/数据表存储规划，保证数据在磁盘的优化分布。2021/8/296提纲ODS规范技术分册系统技术架构系统技术要求系统实施系统部署硬件评估方法示例第三方工具评价标准及产品比较ODS应用附件ODS数据共享ODS应用2021/8/297数据加载系统技术要求－数据整合数据整合技术要求数据转换数据清洗数据抽取数据抽取接口设计应充分考虑ODS系统接口的开放性、可扩展性；接口数据传输控制策略应可靠且完善；具有可靠的接口数据出错处理机制；支持不同的数据源系统平台。支持对多种不同系统平台和数据类型的源系统数据抽取与转换。包括各种关系型、层次型、文件型数据库系统及各种文件格式等源数

5、据；数据抽取尽量减少对源系统的性能影响；支持多种数据装载方式；数据抽取接口应支持实时、准实时数据抽取，例如接口表、FTP、中间件、WEB-SERVICE等；ETL工具支持二次开发，并通过对内嵌脚本语言、存储过程、插件及外部程序来处理复杂的处理，提供调试、跟踪功能；ETL过程支持多个数据库连接，数据转换与加载处理过程应支持并行处理；对于用户资料、客户资料等核心数据加载要求逐步实现实时更新，最终目标控制在秒级；对于除了核心数据以外的ODS日批量数据抽取加载应在3小时内完成；对于帐单等月批量数据抽取加载应控制在5小时内完成；对于加载到系统的日数据以及月数据要及时整合汇总，应控制在4小时内完成；数

6、据转换处理过程支持各种字符集的转换。数据整合过程2021/8/298数据加载系统技术建议－数据整合数据整合技术建议数据转换数据清洗数据抽取实时抽取接口建议采用自行开发的WEB-SERVICE接口或成熟消息中间件产品；批量数据抽取建议源系统提供文本格式文件并FTP到ODS；数据转换与加载建议采用成熟ETL工具；对数据表比较大，建议采用增量数据抽取方式，定期进行全量更新，对源系统表没有增量时间标志的，由源系统方进行必要的改造，增加时间戳等；在数据整合过程中先进行单一系统内数据整合，然后再进行跨系统的数据整合；对于小数据量的一些管理数据、配置数据等，可以采用全量抽取方式进行抽取；建议数据抽取周期

7、可根据接口对象不同和实际的数据获取需求不同而采取有针对性的设计；建议批量抽取操作尽可能在相关生产系统空闲的时段执行；批量数据转换与加载，建议在应用设计时考虑加载转换的并行化，建议采用内存处理技术；源生产系统可采用改造业务逻辑、数据库触发器、数据库日志触发等不同的方式来实现实时向ODS系统提供需实时提供的源数据。数据整合过程2021/8/299系统技术要求－数据存储数据模型技术要求汇总数据层整合数据层接口数据层对于接口层数