基于python语言的网络日志处理系统设计

《基于python语言的网络日志处理系统设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Python语言的网络日志处理系统设计　　摘要：随着互联网的发展，网络已经成为人们生活不可缺少的一部分。现在接入互联网的形式已经发生了变化，由传统的PC机接入发展到今天的各种移动终端（手机、平板电脑、物联网设备）接入，从而对网络安全提出了更高要求。在网络安全管理中，对用户行为管理是最基本的，只有管理好用户的上网行为才能做对网络可查可管。该系统将以Python程序架构为基础，设计一套适合处理校园网络用户上网行为的程序。　　关键词：网络安全；用户上网行为；数据分析　　中图分类号：TP393文献标识码：A文章编号：1009-3

2、044（2016）15-0117-03　　随着互联网技术的发展，各种网络设备功能越来越来完善，设备性能管理方面也比较智能化，在网络管理上发生了变化，不再像过去花费大量的人力忙于维护网络设备，而是要分析用户的上网行为，为用户提供一个安全稳定的网络环境。目前所得到的用户上网行为都是从网络设备上获取的，这些数据中存在脏数据[1]，脏数据不符合要求，对于分析用户上网行为存在干扰。并且这些数据量非常大，而且还分散在不同的文件中，不便于以后的存储和运算。如何对这些数据进行分类、清洗并进行有效的存储是网络行为分析的一个重要问题。10　　文

3、章首先介绍python程序设计语言的相关组件和功能架构，在此基础上，设计并实现了基于python语言的分析用户上网行为的分类与清洗系统，验证了系统的有效性和稳定性，并对数据的处理时间和数据的压缩比例进行分析。　　1Python程序的介绍　　Python是一种解释型交互式、面向对象、动态语义、语法优美的脚本语言。自从1989年GuidovanRossum发明，经过几十年的发展，已经同Tcl、perl一起，成为目前应用最广的三种跨平台脚本语言。Python是纯粹的自由软件，源代码和解释器CPython遵循GPL（GNUGener

4、alPublicLicense）协议[2]。Python的主要特点有：　　1）免费开源、简单易学　　Python是FLOSS（自由/开放源码软件）之一[3]。使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。Python是一种代表简单主义思想的语言，阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。Python极其容易上手，因为Python有极其简单的说明文档。　　2）速度快　　Pytho

5、n的底层是用C语言写的，很多标准库和第三方库也都是用C写的，运行速度非常快。　　3）高层语言　　Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。　　4）可移植性10　　由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）[4]。这些平台包括Linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、PalmOS、QNX、VMS、Psion、AcomRISC

6、OS、VxWorks、PlayStation、SharpZaurus、WindowsCE、PocketPC、Symbian以及Google基于linux开发的android平台。　　5）面向对象　　Python是一种公共域的面向对象的动态语言[5]，Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。　　6）可扩展性　　如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序

7、用C或C++编写，然后在Python程序中使用它们。　　7）可嵌入性　　可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。　　8）丰富的库　　Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮件、XML、XML-RPC、HTML、WAV文件、密码系统、GUI（图形用户界面）、Tk和其他与系统有关的操作。这被称作Python的“功能齐全”10理念。除了标准库以外，还有许多其他高质量的库，如wxPython、Twisted和P

8、ython图像库等等。　　9）规范的代码　　Python采用强制缩进的方式使得代码具有较好可读性。而Python语言写的程序不需要编译成二进制代码。　　2系统架构的设计　　由于网络用户上网行为数据可以从网络安全设备（如防火墙、网络认证网关）上直接采集，所采集到的数据中有很多信息是不需保存的