Smartcare融合大数据平台.pdf

《Smartcare融合大数据平台.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、SecurityLevel:内部公开Smartcare融合大数据平台Contents01平台概述02解决方案关键技术03解决方案介绍—2—华为移动网端到端支撑平台架构应用接口模块应用层：信令跟踪网络质量实时模块•支持第三方应用部署应用层用户感知分存量用三方应和分析应评估和监营销支撑…析专题应用户维系用后分析模块•支持通过第三方DI软件进行数据用控呈现，如Tableau等系统管理数据访问PaaS集成框三方系统架应用管理数据统一访问控制&鉴权共享层：工单•硬件开放解耦，支持标准服务器实时处理海量数据数据存储和计算元数据、配SMS置、•海量数据计

2、算存储，可灵活共享数据共享和集成共享层日志、告警规则引监控任后分析擎务用户画像汇总数据和挖掘•独立实时通道，确保特定数据的Email实时性；PM/FM任务调度内存计算和实时事件分析海量详单•用户数据加密，保护用户隐私；数据复杂事件处理海量批处理HadoopCRM系统管理采集层：数据接入和预处理PCRF•DPI集团规范单据采集上报•多厂商北向CHR/MR支持数据源采集层•FM&PM等多数据源集成DPI探针主动测试数据MR策略数据性能管理配置数据故障数据-3-华为平台关键能力及技术优势架构灵活&开放能力•架构开放硬件虚拟化•平台开放Hadoop

3、数据订阅•数据开放多租户管理强大的实时计算能力海量数据存储计算能力•实时流处理能力•海量数据存储能力•实时事件规则定制•海量数据高效获取能力•VVIP用户分钟级实时感知监控•后分析和离线挖掘能力100G大容量探针复杂多接口拼接能力•NetProbe12U探针•跨CS，PS，IMS多域的接口关联能力；•100Gbps(处理能力）•具有120万条/秒流式数据、100MB/s文件数据采•60TB(存储能力）集能力-4-华为平台关键能力1－架构灵活&开放能力平台开放架构开放数据开放权限控制3方工具现网云平台DataMachineMiningLear

4、ningDSI功能多租户视图数据库标准接口Spark虚拟化层共享平台现网硬件实时处理Hadoop平台能力开放给客户，易于平台的使用使用客户现有资产，易于平台的部署各类数据灵活共享，数据价值最大化•第三方工具通过标准接口使用Hadoop组件；•使用第三方硬件：PC服务器、存储•实时事件数据，根据条件触发到第三方系统•通过CEP配置接口，开放实时CEP能力；•使用第三方的Cloud环境•通过多租户方式，客户可访问共享平台数据华为平台关键能力2－强大的实时计算能力实时计算模块（CEP）：事件接收系统CEP模块事区别于批处理方式，CEP采用流处理方

5、式，可XDR客服系统件DSI实时筛选符合规则的事件。事XDR故障管理预处理触发器FTP件技术优势：事XDRSMPP件营销系统•CEP支持1分钟VVIP告警计算、实时保障场规则匹配SNMP事BI系统景5分钟粒度业务统计。XDR件Web•CEP根据输入的详单、实时事件处理规则输事XDRService工单系统件出满足条件的实时事件，实现MCS(市场营事XDR…件销支撑)。•最全的维度组合设置：支持用户、终端、SSV元数据用户历史数据规则、参数小区、网元、APN、错误码等各种维度的汇聚和组合；事件采集事件分析事件触发•超高的计算性能：单节点CEPS

6、支持70万条/秒的实时流处理能力，毫秒级时延；-6-华为平台关键能力3－海量数据存储计算能力（Hadoop）采用Huawei自研的Hadoop方案：兼容开源Hadoop，便于开发者使用和技能复制；根据电信数据特点进行针对性的增强，更适合运营商部署；技术优势：SparkIMPALAHBASE在Hadoop标准组件功能的基础上，增加以下功能(天粒度汇总计算)(接口详单)(投诉处理详单)•基于聚簇表/聚簇索引框架的HBase增强：通过HBase内部机制实现一个对象下多个用户表数据在物理上的相邻存放，HadoopDistributedFileSys

7、tem(HDFS)从而达到查询时延相比传统方法5~100倍提升。Hadoop通用组件功能：•基于二级索引的Hbase增强：开源的Hbase只提供单索引，•HDFS：提供可扩展的海量数据低成本存储。Huawei增强的二级索引，就是对于电信领域需要经常查询•Spark：提供小批量流式处理、离线批处理、SQL查询、数据挖的列，建立这一列数据(例如用户号码)和RowKey之间的索引；掘，适合高优先级、迭代型计算任务。•IMPALA：基于SQL查询接口提供海量数据查询能力的新型查询避免了直接在全数据表中的整表搜索，可以大大减少数据搜引擎。索量；•HB

8、ASE：支持主键检索及简单事务，适合存储大表数据。根据电信行业数据特点，采用最优的组件处理特定的数据。-7-华为平台关键能力4－复杂多接口拼接能力复杂的多接口拼接能力：采集多接口