互联网骨干网网间业务数据全量分析及应用系统

《互联网骨干网网间业务数据全量分析及应用系统》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、互联网骨干网网间业务数据全量分析及应用系统一、背景情况近年来，飞速增长的数据业务推进着互联网与移动一体化应用。据CNNIC今年一月公布的“第23次中国互联网络发展状况统计报告”披露：截至2008年12月31日，中国网民规模达到2.98亿人，其中无线上网用户数达到1.18亿人，较2007年增长了133%；无线上网用户占网民总体40%，同比提高10个百分点。互联网产业重心正在向移动互联网快速转移。面对电信重组，面向全业务经营，如何做大做强中移动的互联网业务？如何挖掘无限商机，拓展互联网业务移动化？如何提高互联网通信质量，提升用户满意度？如何构建和谐的网络，促进TD网数据业务发展？究

2、竟重要客户、热点网站访问量有多大，价值几何？怎样的网间结算模式有利于数据业务发展？怎样的数据业务定价更有利企业持续发展？等等一系列问题亟待思考与探索。上海公司从二00七年十二月起开始酝酿、筹划对互联网骨干网网间业务数据的全量采集、处理及分析应用，经多方调研与可行性研究，确定了项目研发总体框架与目标。几易算法，攻克峰值近40Gbps海量业务数据的全量采集、处理及分析难关。二00八年十二月八日系统上线试运行，报表翔实、运行稳定，成功实现系统建设目标。二、系统建设目标与方案（一）建设目标（1）实现动态TopN*TopN排名统计与应用分析。第12页共12页（2）实现对重要网站、大客户及

3、用户行为的剖析。（3）实现互联网骨干网网间通信质量动态监测。（4）实现互联网网络运行信息安全监控与预警。（5）实现境内外互联企业按流量结算技术屏障。（6）实现互联业务分布及业务发展策略效用探析。（二）建设方案1、硬件架构系统实现Cmnet上海节点网间所有2.5GPOS链路的全量数据采集、分析与应用。采用的分布式系统架构，组网合理；采用双机热备模式，运行可靠；采用并联分光方案，不影响主干链路通信质量。图1：系统拓扑图第12页共12页2、软件架构2.1.1采集层：提供网络数据包的获取和分流，将数据复制到协转；将数据光信号转换成电信号，并分流到多个GE口输出。2.1.2处理层：分析第

4、三层至第七层，判断数据包的业务流向和类型；提供数据包的预处理，包括检测、分析和统计工作。2.1.3应用层：实现访问排名、应用分析、统计报表等综合展示；为关联系统提供流量分析、预警及模拟演示数据。图2：软件架构图三、系统核心技术及特点传统的数据业务分析主要是基于xflow协议的抽样采集（一般10第12页共12页00：1），或者基于设备处理的分粒度采集，在实际应用中存在统计数据的精细偏差，难以采集低概率业务行为数据，无法实现全量的汇总数据，无法实现按流量结算，无法满足运营商对互联网业务的精确分析需求等等一系列问题。本项目在研发过程中，实现的对互联网骨干网网间海量业务数据的全量采集、

5、深度挖掘分析技术属全国通信行业首创，研发的“一种互联网网间业务采集分析方法及装置”（SH0902002）获得集团公司创新成果专利。本项目研制的特定数据结构和处理流程，高效的HASPMAP、内存数据库等开发技术，以及全量分析处理器F2AP（FullFlowAnalyzeProcess），从传输层到应用层协议对业务的数据包进行检测和识别，以100%的准确率检测分析出业务类型，解决数据业务运营管理、经营分析所面临的实时性、精准性、全面性等障碍问题，实现了数据精准、采集快速、结论实用的特性。本发明技术与传统分析技术相比具有如下优点：（一）全量数据精准采集的技术先进性对互联网骨干网业务进

6、行了全量接收采集，避免了采样比采集方式对业务数据包的丢失，满足对业务分析、控制的100%精准度要求。（二）全量数据深度处理的技术创造性通过特定数据结构和处理流程，高效的HASPMAP、内存数据库等开发技术，实现了具备海量数据特征的全量业务数据的高效率处理。（三）全量数据应用分析的技术实用性第12页共12页精确区分并统计出各类业务、各种应用类型的业务行为，实现的TopN*TopN排名矩阵、Top100通信质量监测、流量结算预演以及运营分析等功能，极大程度提高业务分析质量，有力支撑数据业务发展。四、取得的社会和经济效益本系统通过互联骨干网网间数据进行全量采集、分析和统计，对互联网骨

7、干网网间通信的运行状况、质量、业务分布、经营及结算分析等都做了翔实的分析统计和直观报表呈现。系统运行产生的社会和经济效益重点在下面几个方面：（一）发掘重要用户、追踪热点网站动态分析网间流入和流出全量的TopN排名，发掘热点网站以及每个热点网站访问Top100排名，形成Top100*Top100排名矩阵。通过获取的移动用户访问他网TopNIP地址或WEB网站，在移动网内架设此类网站镜像，可有效降低互联网骨干网互联带宽负荷，显著提高用户感知的通信质量，为公司数据业务发展、网络运营管理添砖加瓦。案