高校网络日志大数据分析平台研究

《高校网络日志大数据分析平台研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、高校网络日志大数据分析平台研究摘要：许多高校面临着用户快速增长、网络数据庞大、信息安全隐患等多方面的问题，校园网每天生成NAT、DNS、anycollegesanduniversitiesarefacedsofrapidgroassiveationsecurityrisksetc.，thecampusassiveent（ITOM）andbigdataprocessing.Thispaperintroducesamassivebasedonthebigdatatechnology，studiesthetechnologyarchitectureandbus

2、moduleofbigdataanalysisplatform，andrealizesthecollectionandbigdataanalysisofthecampusmassivepusationconstruction；；bigdataanalysis　　0引言　　随着信息技术日新月异，各类应用层出不穷，部分高校已经建成一个集普适服务网、科研学术专网、物联感知专网于一体，融数据、语音、视频等各类信息通讯能力于一身，高速通畅、安全可靠的下一代校园综合支撑网络环境[1]。高校网络用户逐年递增，网站流量、DNS域名解析、VPN数据、邮箱等应用每天产生海量

3、数据。对校园网每天产生的海量日志进行存储、计算、分析，研究如何充分利用大数据技术对校园网数据进行有效整合，更好地为广大师生提供服务，为学校管理者提供更好的决策依据十分必要，这也是校园网运维未来发展和打造智慧校园的一部分。　　1需求与目标　　高校的信息化建设普遍面临着运维问题，即：校园网络用户规模逐年递增，运维难度增大、比较被动、效率低。用户基本通过电话报修，运维人员难以远程定位故障，而上门维护时又难以再现故障，现有的网络运维管理系统对运维的支持力度有限。如何充分利用现有的运维管理软件，以及各类有线网/无线网运维过程产生的大量的结构化和非结构化的数据，是亟

4、待解决的一个主要问题。　　我们需要具备更强大的数据存储、处理、分析的大数据平台，以提高校园有线与无线网络的运维效率、大数据分析和利用能力，需建设一套涵盖有线与无线网大数据运维支持平台系统，实现校园网运行数据的获取、存储、分析[2]。通过大数据处理，实现运维分析和查询，提高运维主动性和效率、解决运维难题，能够解决目前运维过程中发生的问题。例如，将现有VPN有线上网日志、无线上网用户日志、DNS域名日志、网站访问日志等相关的数据库、信息系统日志文本数据等进行相关的处理分析，以提高运维方面的效率。该平台软件系统需要能够平滑扩展，为未来的海量数据分析提供更多的数

5、据利用的应用接口。　　2校园网大数据分析平台总体框架　　2.1平台拓扑　　校园网大数据分析平台，对有线网和无线网运行数据进行获取、存储、分析，通过大数据处理，实现运维分析和查询，提高校园网运维主动性和效率，能够解决目前运维过程中发生的问题。图1为校园网大数据平台拓扑结构。　　2.2平台角色定义　　校园网大数据分析平台有如下系统功能角色定义和要求，如表1。　　2.3功能模块　　校园网大数据分析平台需实现以下基本功能模块。　　⑴数据感知与获取　　运维数据不仅是实时数据，更要历史数据，定期采集的多业务系统的历史数据，对运维分析十分有用。整合认证系统、用户管理系

6、统、网管系统等多业务系统的数据[3]，实时或离线收集有线网络/无线网络的设备运行于用户状态数据，实现统一的数据管理分析平台，解决多平台之间手动切换的低效率运行模式。　　⑵数据存储与管理　　大数据运维支撑平台可以按需将历史数据进行展示，可以是以用户为中心的历史展示，也可以是以设备为中心的历史数据展示。例如，用户报修宿舍有线/无线网络不稳定或者信号差等问题并提供账号和房间号等简单信息，运维人员可以根据该用户的历史数据进行分析，例如历史关联AP信息，历史信号强度信息等分析故障原因，实现数据支持的运维模式，提高运维效率。　　⑶数据挖掘与计算　　提供一个全面、准确

7、、快速的跨系统检索、比对、碰撞，同时又能进行海量数据运算，为全校网络运维和无线AP故障排查提供智能化服务的应用平台是当前的迫切需求[4]。例如：无线网运行数据汇聚与处理功能模块，提供AP事件聚合，Top10AP使用统计等功能；无线网运维人员查询定位功能模块，通过配置管理和调用地图，确定AP位置，同时能够通过搜索快速定位；无线全网运行情况统计功能模块，支持基于上网地点、所在小区、客户端类型、使用的上网设备型号等方面的统计；无线网智能化分析判断功能模块，要求能够支持报警信息分析，支持图表方式实时监控上下载速度、AP连接终端数、AP状态，快速定位故障AP位置等

8、功能，为实现快速运维优化提供技术保障。　　⑷数据安全与共享　　校园网络数据日志能