网格环境中反馈报告解析器的设计与实现

《网格环境中反馈报告解析器的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、网格环境中反馈报告解析器的设计与实现作者：苏洋指导教师：邵栋副教授宋健建讲师南京大学研究生毕业论文(申请工程硕士学位)南京大学软件学院2011年5月lIIIIIIIIIIHIHIIIIIIIIIY23——7783———8—TheDesignandImplementationofFeedbackReportParserinDataGridSU，YangSubmittedinpartialfulfillmentoftherequirementsforthedegreeofMasterofEngineering$1pervisedbySupervlsedbyAssociateProf

2、essorSHAO，DongLecturerSONG,JianjianSoftwareInstituteNANJINGUNIVERSITYNanjing，ChinaMay，2011摘要为了更好的了解用户行为，帮助决策者提供决策依据，趋势科技公司在其产品中内置了反馈信息收集模块，其目的是收集用户每次升级过程的详细信息，并将这些信息组织成一定的格式保存在用户磁盘中，最后以H‘rTPPOST请求的方式定期向反馈报告接收服务器发送反馈数据。随着趋势科技公司产品的不断更新，其反馈报告的格式及内容也随之变更。因此公司需要开发一个反馈报告解析器，简称为Parser工具，将格式、版本不同的反馈

3、报告转换至指定数据库中，便于后续的数据分析。然而由于趋势科技产品用户数量庞大，已达两千万。经统计，目前每秒约有60份平均大小为20KB的反馈报告需要进行及时的转换处理。经试验，使用单机多线程的方法实现该Parser工具无法满足性能需求。因此如何实现高性能的Parser工具成为公司需要。本文的主要工作是：详细讨论如何使用Master／Worker模式搭建该Parser工具的单JVM(JavaVirtualMachine，即Java虚拟机)版本，然后根据实际情况利用多种方法改善其性能，并增加容错机制，最后利用Terracotta平台在网格环境中实现该Parser工具，使其工作在JV

4、M集群中，进一步提升性能，达到预期的性能需求。本文的创新点及重点在于介绍如何基于Master／Worker模式，并利用Terracotta平台在网格环境中实现高性能的Parser工具，并具有较高的可靠性和可扩展性。关键词：网格，主，从模式，Terracotta，数据转换AbstractInordertounderstandtheuserbehaviourbetterandhelpmakerstomakedecisionssomeTrendMicroproductshaveafoedbackmodule．Thetaskofthismoduleistocollectuserinfo

5、rmationduringupdateprocess．Andthen，thecollectedinformationisorganizedintoacertainformatinthediskofuser．Lastly．itwillsendthisfeedbackinformationtothereceivingserversintheformofHTTPPOSTrequestperiodically．WiththeTrendMicroproductsbeingupdated，theformatandcontentofthefeedbackreportalsobechanged

6、SoTrendMicroneedstodevelopafeedbackreporttransformationtool，whichcalledParser．TheParserwillconvertheterogeneousfeedbackreportstothedesignateddatabasefordataanalysissubsequently．However’duetothehugenumber(abouttwentymillions)ofusersofTrendMicroproducts，about60feedbackreportsneedtododatatransf

7、ormationpersecond．Andtheaveragesizeofthesefeedbackreportsis20KB．Aftertesting，wecannotmeettheperformancerequirementsifusingmulti-threadedapproachtorealizetheParserinasinglemachine．SohowtoachievehighperformanceParsertoolbecometheneedsofcompanyThemain