网络流量大数据分析和管控项目需求资料.docx

《网络流量大数据分析和管控项目需求资料.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、公安网网络流量大数据分析和管控项目需求书目录1项目概述41.1项目背景41.2解决思路41.3项目目标51.4建设原则71.4.1参考标准71.4.2可靠性及可用性71.4.3安全性81.4.4成熟性81.4.5先进性81.4.6可扩展性82架构描述82.1整体架构82.2功能架构92.2.1应用层112.2.2接口层112.2.3分析服务层112.2.4数据资源层112.2.5基础设施层122.2.6数据可视化122.2.7数据交换122.2.8流量采集132.2.9运维管理132.2.10安全管理133

2、平台建设需求133.1业务门户功能需求143.1.1业务功能需求143.1.2门户管理功能需求143.2业务功能需求163.2.1应用识别163.2.2流量展示及异常流量识别173.2.3流量智能调度193.2.4用户画像213.2.5应用关联关系273.2.6应用画像293.2.7精准推送333.2.8行为识别353.3数据可视化需求373.4大数据处理分析组件建设需求383.4.1数据服务模块建设要求393.4.2大数据分析算法库建设要求393.4.3分布式存储建设要求463.4.4分布式并行处理建设要

3、求463.4.5实时内存分析处理建设要求463.4.6实时分析结果查询建设要求463.5ETL工具建设需求463.6实时流量数据收集建设需求473.7基础设施建设需求473.8数据交换组件需求473.9安全管理需求473.10运维管理需求494数据采集建设需求494.1采集器部署要求★494.2采集器数据采集方案504.3流量控制调度能力要求504.4采集器性能及可靠性51 1项目概述1.1项目背景目前内网运行管理中面临以下三方面挑战：1.流量分布不均流量分布不均体现在，忙闲时流量差距较大、区域性流量差距较

4、大和流入流出差距较大。造成此类问题的主要原因不是链路资源不足，而是数据资源分布不均。因此，现有扩容链路是解决拥塞问题的办法之一，优点是效果明显，升级链路后拥塞能够得到有效缓解，但是无法从根源去解决此类问题。2.应用服务质量保障不到位随着应用的不断发展，部分业务系统的服务范围和可靠性要求提出了新的要求。一方面，随着应用的广泛使用，内网上系统的数量、种类和系统数据量在大幅增加。在此背景下，内网按照原有的网络设计承载能力和数据转发机制上，无法发挥现有网络传输能力和利用带宽资源，易发生网络拥塞和服务质量下降等情况。

5、另一方面，业务系统的服务质量和服务要求已经不满足于畅通率的指标，而对网络传输质量、带宽保障和延迟等提出了新的要求。现有运维手段无法满足此类保障要求。3.网络管控手段有限，时效性不强随着应用的快速发展，网络服务内容也在发生更本性变化。从最初的提供数据传输管道，到提供更好的网络传输质量保障。目前主干网在网络流量管控、调度方面，存在不足，传统的QOS需要网络全程部署，精准度低、调整范围广、工作量大，无法满足现阶段内网运营管理需求。尤其是针对突发流量导致的网络拥塞、网络设备或者链路故障导致传输能力下降、临时提出的固

6、定时间、固定区域的网络保障要求等问题时，没有高效的流量调度和管控手段。即使发现问题，无法第一时间精准管控和调度。1.2解决思路针对内网运行管理中面临的，应从三个方面进行解决，具体内容如下：l首先，应该做到能够准确了解内网中的流量，分析内网的各个链路的流量中，都有哪些数据和应用、每个应用的流量大小、服务时段、服务的质量如何、这个应用在为哪些系统和用户在服务，以及详细的流量信息，便于开展流量的调度和应用服务保障策略的制定。l其次应该能够准确预测流量，这个预测不是简单的通过现有的今年流量数据和曲线去测算明年的流量

7、，而是通过对应用分类，针对各个应用的流量、服务时段和服务质量，去测算每个应用的流量趋势，再通过汇总，可以精准的评估出内网每条链路每个时段的流量大小和趋势。一方面可以更为精准的预测流量，为链路扩容和网络流量调度提供更为精准的数据支持，另一方面，也可以为重点应用服务保障策略提供准确的数据支持。l再次应该能够准确管控流量。管控不是关停相关服务，也不是按照传统网络策略采取的丢包式的牺牲策略。而是通过对不同应用的网络需求，制定不同的调度和管理方案。例如，对网络延迟较敏感的实时类应用，提供较高的带宽保证传输质量，对于网

8、络速度不敏感的应用，按照时段或者按照带宽利用率动态限制占用的带宽大小，保证应用正常使用的前提下，合理利用内网带宽资源，对于备份类和非工作时段的数据传输，调度到非忙时传输，对于本地数据资源丰富的，推送相关本地资源信息，避免异地查询或者下载，占用广域网资源等l最后做好重点应用的服务和保障工作。一方面是通过精准的流量预测和智能的调度和管控确保提供足够的可靠的网络资源，另一方面，按照应用的关联关系，对应用服务所需的整个应