基于hadoop大数据平台资源与用户行为检测技术的分析

《基于hadoop大数据平台资源与用户行为检测技术的分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据北京交通大学硕士专业学位论文目录3．3．4算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯243．4实验结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯253．4．1实验环境描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯253．4．2实验过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯253．4．3实验结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯263．4．4实验总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

2、⋯．313．5本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3l4基于隐马尔科夫模型的HADOOP用户行为检测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．324．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一324．2检测模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯324．2．1采集过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯334．2．2数据预处理过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯334．3基于隐马尔科夫

3、的用户行为异常检测方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．344．3．1隐马尔科夫模型的介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯354．3．2训练阶段⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯374．3．3参数计算⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯384．3．4检测阶段⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯394．3．5检测算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯404．4实验过程与结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

4、⋯424．4．1实验环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯424．4．2实验过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯434．4．3实验结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯434．4．4总结分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯474．5本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯475结论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯49参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯

5、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一50独创性声明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．53学位论文数据集⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．54万方数据北京交通大学硕士专业学位论文绪论1．1研究的背景1绪论随着网络技术的日益更新，数据已经渗透到了我们每个人的生活之中。信息普遍充斥着日常生活，网络数据的规模增长得十分快。将数据存储在单个主机上的方式已经无法满足现在人们对信息的需求。并行挤算和分布式的文件系统已经得到了极速的发展，产生了网络运算技术并且

6、与虚拟技术相结合，云计算平台也已经发展起来。实现云计算的核心技术包括分布式数据管理、分布式存储以及分布式计算。而Hadoop为用户提供分布式存储和分布式编程计算的环境，它的基础是谷歌的云计算系统。Hadoop的云计算环境是PaaS模式(PlafformasaService，平台即服务)，是云计算体系的一种。Hadoop的工作效率非常高，用途也十分广泛，它被应用在各种云计算当中，并且在科学计算、数据挖掘还有数据处理中的应用也越来越多。国外应用中，它在海量数据处理领域已经成为一种标准。Hadoop被很多网络公司使用着，比

7、如Yahoo、Facebook，还有Amazon等著名的网络公司都将它应用在生产系统中。Hadoop有一点缺陷，就是它薄弱的安全机制，这一缺陷使得网络公司在使用它时有所顾虑。之所以有这一缺陷，是因为在平台设计的起始阶段，没有考虑到安全问题，因此起始阶段的版本并没有安全机制。在设计的系统中，默认所有集群内的节点都是可信任的，所运行的环境都是安全的，没有恶意攻击的情况。没有防御的设计导致了一些安全问题，如传输过程中的数据被窃取、合法用户的权限被非法用户窃取、存储器中的数据没有保护等。这样一旦发生维修、恶意入侵等情况就有可

8、能产生数据的泄露。目前使用的Hadoop平台版本几乎都在0．17—0．20版本之间，0．19．3是亚马逊所运行的版本，0．19是Facebook所使用的版本，0．20版本是Yahoo!在使用的版本。这些版本的安全性并不是很好。大多数的公司在运行Hadoop集群的时候会运用防火墙进行保护，避免暴露在外部网络中。但如果存在内部用户违规操作，或者用户