基于数据挖掘的电子商务产品质量风险评估技术研究

《基于数据挖掘的电子商务产品质量风险评估技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ZSTUZhejiangSci-TechUniversity硕士专业学位论文ProfessionalMaster’sThesis中文论文题目:基于数据挖掘的电子商务产品质量风险评估技术研究英文论文题目:ResearchontheTechnologyofE-commerceProductQualityRiskAssessmentBasedonDataMining专业学位类别：工程专业硕士专业学位领域：计算机技术作者姓名：邹敏指导教师：李文书，张瑞林完成日期：2015年12月21日浙江理工大学学位论文独创性声明本人声明

2、所呈交的学位论文是本人在导师指导下进行的研究工。除了文中特别加标注和致谢的地方外作及取得的研究成果，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得浙江理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均氏在论文中作了明确的说明并表示谢意。＾学位论文作者签名：＾Ｉ签字０期：年月／。日学位论文版权使用授权书本学位论文作者完全了解浙江理工大学有权保留并向国家有关允许论文被查阅和借阅。部口或机构送交本论文的复印件和磯盘，本人

3、授权浙江理工大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索和传播レ乂采用影印、缩印或担描等复制手段保，可存、汇编学位论文。）（保密的学位论文在解密后适用本授权书扭学位论文作者签名：。＇签字曰期：年３月日—导师签名：以）／（＾方Ａ？签字日期：年月日浙江理工大学硕士学位论文基于数据挖掘的电子商务产品质量风险评估技术研究摘要随着网络技术和信息技术的发展，互联网不可阻挡地进入了人们的生活，并且改变了人们的生活方式。但由于电子商务的虚拟性、跨地域性，消费者所购买的产品可能会存在质量风险。

4、针对该问题，本文在前人的研究基础上，提出了基于电子商务平台的用户评论数据的风险评估模型，该模型可以准确地识别风险，评估风险等级，发布相应的预警信息，使得监管人员对风险做出快速的应对措施。如何客观的评估产品质量的风险，使得监管机构对其做出快速的反应是本文的研究重点。本文主要研究了以下几个方面：本文对电商产品数据通过R语言的数据处理技术对数据进行空值和异常值处理以及使用基于Spark并行化ansj的jar包对数据集进行中文的文本分词和去停用词处理，从而得到预处理后的训练数据。然后在随机森林的袋外数据的特征属性中加入噪声，并

5、将计算所得到误差进行重要性排序，以此来进行电子商务产品质量风险评估的特征选择，并在Spark计算框架上实现。在电子商务产品质量的风险评估中，提出了一种基于Spark并行化的改进朴素贝叶斯算法来建立风险模型。朴素贝叶斯算法是假设特征之间相互独立，然而在实际中，它们之间是息息相关的，所以利用MinHash来计算特征属性与决策标签之间关联程度，对贝叶斯算法中的条件概率进行加权运算，并在Spark实现算法的并行化。本文通过构建基于Spark大规模集群进行了仿真实验。在UCI数据集上，验证了基于Spark并行化的改进贝叶斯算法相

6、比于朴素贝叶斯算法及其串行算法在准确率、召回率以及时间上有更好的效果。当实验数据增加时，串行算法的执行效率低下，然而在Spark分布式环境中，其效率明显提高。所以基于Spark的并行化算法在大数据下具有更好的可扩展性和优越性。实验表明将模型应用在电子商务平台的用户评论数据时，模型能够准确地识别电子商务产品质量风险，然后做出风险预警。从而提出了一种新型的风险监管模式。关键词：数据挖掘；朴素贝叶斯；随机森林；MinHash；SparkI浙江理工大学硕士学位论文基于数据挖掘的电子商务产品质量风险评估技术研究Researcho

7、ntheTechnologyofProductQualityRiskAssessmentBasedonE-commerceAbstractWiththerapiddevelopmentofnetworkandinformationtechnology,TheInternetisirresistibletoenterpeople'slife,andthatchangedthewayofpeoplelive.However,duetothevirtualandacrosstheregionofe-commerce,some

8、productspurchasedbyconsumermayexistqualityrisks,Inviewofthisproblem,andonthebasisofpreviousstudies,riskevaluationmodelofuser'sreviewsbasedone-commerceplatformispropos