移动App用户的海量日志分析的优化策略与算法研究

《移动App用户的海量日志分析的优化策略与算法研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、移动App用户的海量日志分析的优化策略与算法研究摘要随着“互联网+”的走热，各行各业都与互联网紧密的结合了起来，随之产生了海量的数据信息，虽然面对如此多的数据信息但人们想真止找到口己感兴趣的内容也是件难事。同时互联网企业绞尽脑汁分析用户兴趣，为用户提供更好的产品、更好的服务，日志数据记录了用户的行为，基于此，如何分析挖掘这些产品生成的海量日志数据变得非常有价值。在目前数据挖掘的研究中，关联规则的挖掘是非常重要的研究方向，关联规则涉及到信息、医疗、交通、金融等多个领域的研究。在关联规则的挖掘算法中，由R.Agrawal和R.Srikant于1994年

2、提出的Apriori算法最为经典和重要，算法的核心思想是通过迭代由k-1轮的频繁项集连接剪枝生成K轮的频繁项集。本课题主要对用户海量数据处理算法进行研究，其中主要包括以下几个研究内容：(1)关联规则算法在日志数据挖掘中的应用。该研究采集了视频APP用户的浏览、观看、检索日志数据，提出数据处理的流程框图,并基于Apriori算法得出出视频作品之间的关联度，根据关联度为用户做视频个性化的推荐。(2)Apriori算法改进的研究。Apriori算法在处理日志数据时由于频繁的扫库和生成大量的频繁项集而使时间性能较低，本研究在大量优化研究的基础上，提出对源数

3、据、频繁项集进行二进制编码并用整数表示，通过位运算和海明距离生成频繁项集的优化策略。我们将优化策略编程实现，并分析了优化的效果。(3)Apriori算法在MapReduce并行化编程模型下的扩展。面对海量日志数据，单机算法远不能满足大数据挖掘的需求了，本课题通过研究并行化编程模型MapReduce,将优化的Apriori算法在并行化编程模型MapReduce下进行扩展。关键字：数据挖掘视频推荐关联规则Apriori算法MapReduce模型OPTIMIZATIONSTRATEGYANDALGORITHMRESEARCHONMASSLOGANALYS

4、ISOFMOBILEAPPUSERSABSTRACTWiththerapiddevelopmentofInternet^especiallymobileInternet,Internetofthings.Currentlywehavebeenintheeraofdata,informationoverload.However,Theuserisdifficulttofindwhatsheisinterestedin,facingmassiveinformation.AndwiththeInternetcompanies,operatorsgradu

5、allyintroducedmanyInternetapplications,suchasvideos,games,community，etc・Howtoanalyzethesemassivelogdatageneratedbytheseproductsbecomesveryvaluable・Inthecurrentresearchondatamining，theminingonassociationrulesisaveryimportantresearcharea.Theresearchinvolvesmanyfieldsofinformatio

6、n，healthcare,transportation,finance,etc.IntheassociationrulesAlgorithms?theApriorialgorithmproposedbyR.AgrawalandR.Srikantin1994isthemostimportantandclassic.Thecoreideaistogenerateacandidatesetandplotcloseddowntwo-stagedetectiontominingfrequentitemsets・Thispaperfocusesontheres

7、earchonusermassivedataprocessingalgorithm,whichmainlyincludethefollowingcontents:(1)TheusageofApriorialgorithminuservideorecommendationsystem.Inthisresearch，weacquisiteandprocessafamousinternetcompany，smassivelogdata，throughminingthedegreeofassociationbetweendifferentvideos,an

8、dtorecommendmorerelevantvideotousers・(2)Theresearchofimprovem