欢迎来到天天文库
浏览记录
ID:36564736
大小:5.06 MB
页数:57页
时间:2019-05-12
《网格环境中反馈报告解析器的设计与实现》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、网格环境中反馈报告解析器的设计与实现作者:苏洋指导教师:邵栋副教授宋健建讲师南京大学研究生毕业论文(申请工程硕士学位)南京大学软件学院2011年5月lIIIIIIIIIIHIHIIIIIIIIIY23——7783———8—TheDesignandImplementationofFeedbackReportParserinDataGridSU,YangSubmittedinpartialfulfillmentoftherequirementsforthedegreeofMasterofEngineering$1pervisedbySupervlsedbyAssociateProf
2、essorSHAO,DongLecturerSONG,JianjianSoftwareInstituteNANJINGUNIVERSITYNanjing,ChinaMay,2011摘要为了更好的了解用户行为,帮助决策者提供决策依据,趋势科技公司在其产品中内置了反馈信息收集模块,其目的是收集用户每次升级过程的详细信息,并将这些信息组织成一定的格式保存在用户磁盘中,最后以H‘rTPPOST请求的方式定期向反馈报告接收服务器发送反馈数据。随着趋势科技公司产品的不断更新,其反馈报告的格式及内容也随之变更。因此公司需要开发一个反馈报告解析器,简称为Parser工具,将格式、版本不同的反馈
3、报告转换至指定数据库中,便于后续的数据分析。然而由于趋势科技产品用户数量庞大,已达两千万。经统计,目前每秒约有60份平均大小为20KB的反馈报告需要进行及时的转换处理。经试验,使用单机多线程的方法实现该Parser工具无法满足性能需求。因此如何实现高性能的Parser工具成为公司需要。本文的主要工作是:详细讨论如何使用Master/Worker模式搭建该Parser工具的单JVM(JavaVirtualMachine,即Java虚拟机)版本,然后根据实际情况利用多种方法改善其性能,并增加容错机制,最后利用Terracotta平台在网格环境中实现该Parser工具,使其工作在JV
4、M集群中,进一步提升性能,达到预期的性能需求。本文的创新点及重点在于介绍如何基于Master/Worker模式,并利用Terracotta平台在网格环境中实现高性能的Parser工具,并具有较高的可靠性和可扩展性。关键词:网格,主,从模式,Terracotta,数据转换AbstractInordertounderstandtheuserbehaviourbetterandhelpmakerstomakedecisionssomeTrendMicroproductshaveafoedbackmodule.Thetaskofthismoduleistocollectuserinfo
5、rmationduringupdateprocess.Andthen,thecollectedinformationisorganizedintoacertainformatinthediskofuser.Lastly.itwillsendthisfeedbackinformationtothereceivingserversintheformofHTTPPOSTrequestperiodically.WiththeTrendMicroproductsbeingupdated,theformatandcontentofthefeedbackreportalsobechanged
6、SoTrendMicroneedstodevelopafeedbackreporttransformationtool,whichcalledParser.TheParserwillconvertheterogeneousfeedbackreportstothedesignateddatabasefordataanalysissubsequently.However’duetothehugenumber(abouttwentymillions)ofusersofTrendMicroproducts,about60feedbackreportsneedtododatatransf
7、ormationpersecond.Andtheaveragesizeofthesefeedbackreportsis20KB.Aftertesting,wecannotmeettheperformancerequirementsifusingmulti-threadedapproachtorealizetheParserinasinglemachine.SohowtoachievehighperformanceParsertoolbecometheneedsofcompanyThemain
此文档下载收益归作者所有