一种计算机平台系统及其数据提取方式-交底书

《一种计算机平台系统及其数据提取方式-交底书》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、北京2008年宾运会合作伕伴P>trw<&UtC«rw^中国移动专利申请技术交底书公司编号发明名称一种支撑跨系统数据分析的方法申报单位中国移动通信集团陕西有限公司申报类型发明发明人技术联系人注意事项1・技术联系人应为深入了解本申请提案技术方案的技术人员，如交底书撰写人，负责向专利审核人员和代理人解释技术细节、修改交底书、审核申请文件等工作，请务必填全技术联系人的姓名、E-naiL手机。2・请按照集团公司提供的本技术交底书模板逐项填写，除交底书第八部分为可选项外，其他均为必须填写的内容。填写不全的专利申请提案,集团公司不予立案。3•

2、专利申请不要求已具体实现或实施,形成完整的技术方案即可提交申请，特别是需要向合作方公开、向标准提案或以其他方式公开的重要技术构思应在公开前尽早申请。4.技术交底书文件命名要求：发明名称+短横线（半角）+交底书+版本号,例：一种短消息群发方法■交底书v1.doc中国移动通信集团公司一、发明名称i种支撑跨系统数据分析的方法二、技术领域本发明涉及一种跨系统数据(Acrossthesystemdata)分析系统，该方法能够快速获取跨系统数据，并对跨系统数据进行整合，为多维业务分析提供数据源，广泛应川于客户细分、客户精细化营销等领域，为精准

3、营销提供依据三、现有技术的技术方案随着运营商人数据时代的到来，基于客户细分和客户精细化营销的需求己逐渐成为市场营销的主要手段。FI前针对专项营销需求，通常由业务部门对各类经营指标进行分析，筛选出需要关注的业务指标，然后提交技术部门采集相关业务字段的具体清单，最后由技术部门依据业务部门所提的方案，对相关数据进行手工分析，输出结果。一个典型的跨系统数据分析流程如下图所示：•传统数据分析问题0数据模型1)0分析经典分护芳济从向邀出发,対醴应用媲井设弭姻冬数，在比X鈕上对应用傩的结興逬行分祈<晁后钧出结迄基于目前的数据分析流程，要经常应対

4、卞列事件：1、业务部门所提的需求多样，通常需耍跨越多系统采集数据，才能够满足业务部门的分析需求；2、针对跨系统采集的数据，技术部门需要重新构建关联字段、索引、表空间后方可联机查询，输出业务部门需要的清单；3、针对业务部门的宏观数据需求，技术部门需要将输出后的清单结果转化为直观图形予以体现，辺括散点图、柱状图、饼图、折线图等不同的展现方式四、现有技术的缺点及本申请提案要解决的技术问题为了应对上述事件，需要投入人量人力与精力，但仍然在成木控制、时效性、安全性方面收效其微。下面逐一分析：1)随着客户精细化营销的加速，业务部门所提的需求通

5、常需要跨系统进行数据釆集，KU数据库类型、版木的差异导致采集数据的过程较为复杂，技术人员通常盂要对业务部门提出的需求进行分类后，从不同的数据支撐系统中采集数据，才能完成业务部门的需求。2）传统的方案是按照步骤来进行的，如果发现某一步骤存在问题，在必须回溯到上一步來重新进行，例如业务人员在需求提交后，忽然发现漏提了一个字段，会导致清单输出的不准确性。使用传统方法，这种情况发牛，只能修改需求后重新提数，造成了资源的不必要浪费。3）业务人员在不同系统间提取的数据，通常缺乏支架关联性，需要人为的对数据进行主键关联，这种关联通常只能支撑小部

6、分的数据分析需求，对于较为复杂的数据缺乏有效的解决方案。4）对于使用完毕后的数据，通常不能够再次使用，一•般寄存在数据库中或进行总接删除，浪费了数据库空间，并口存在安全隐患。棊于上述原因，捉出了一种支撑跨系统数据提取与数据分析的方法，需要解决的问题如下1）解决跨系统采集数据的问题：基于跨系统采集数据的繁杂性，五、本申请提案的技术方案的详细阐述木发明《一种新型的列式数据存储方式方法》，原理是对既往关系型数据库屮的数据进行转换，导入列式存储数据库屮，并进行高效压缩，最终形成“通用数据立方体”。《一种新型的列式数据存储方式方法》主要釆用

7、了列存储、高效压缩、希索引和B-树的算法搜索技术，配仑使用，来实现高效的即席杳询，结果输出。一、列存储列式数据库是基于列存储的、主要面向OLAP型应用的关系型数据库。列数据库的特点是町以更好的应对海屋关系数据中列的查询，占用更少的存储空间和更少的I/O,这些特点使其成为构建数据仓库的理想架构。EVAP系统选择了这种适合数据仓库应用的技术，用于处理电信客户通信行为的大数据。该存储技术实现了列存储引繁和列执行引擎，和现有的行存储引擎和行执行引擎组成双执行引擎、双存储引擎。图1-列存数据库结构图列存储不同于传统的关系型数据库，其数据在表

8、中是按列存储的，列方式所带來的重耍好处之一就是，由于查询屮的选择规则是通过列來定义的，因此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储，在查询只需要少数儿个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就更容易为这种聚集