基于投票一致性的众包质量评估策略-论文.pdf

《基于投票一致性的众包质量评估策略-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第35卷第8期东北大学学报(自然科学版)Vo1．35，No．82014年8月JoumalofNortheasternUniversity(NaturalScience)Aug．2014doi：10．3969／j．issn．1005—3026．2014．08．OO8基于投酉不一致性的众包质量评估策略岳德君。，于戈，申德荣，于晓聪(1．东北大学信息科学与工程学院，辽宁沈阳110819；2．中国刑事警察学院计算机犯罪侦查系，辽宁沈阳110035)摘要：提出一种基于投票一致性的工作者严谨度动态评估策略，将众包任务集合划分为多个任务子集，每个任务子集看作一个工作阶段．在任意工作阶段结束后，通过记录工作者

2、投票的数量，以及工作者与工作组投票值一致的投票数量，对工作者的严谨度进行评估，从而检测出不合格的工作者．然后对不合格的工作者进行动态替换，从而保证工作组的正确率满足任务的精度阈值．通过对三种真实数据集进行实验测试，证明本文提出的工作者质量动态评估方法和替换策略具有较好的效果．关键词：众包；投票；一致性；质量评估；动态替换中图分类号：TP3l1．13文献标志码：A文章编号：1005—3026(2014)08—1097～05CrowdsourcingQualityEvaluationStrategiesBasedonVotingConsistencyYUEDe-jun，YUGe，SHENDe．ro

3、ng，YUXiao．tong(1．SchoolofInform~ionScience＆Engineering，NortheasternUniversity，Shenyang110819，China；2．DepartmentofComputerCrimeDetection，ChinaCriminalPoliceCollege，ShenyangI10035，China．Correspondingauthor：YUEDe-jun，E—mail：yuedejun@ise．neu．edu．cn)Abstract：Adynamicevaluationstrategyfortheworkerprecisio

4、nbasedonthevotingconsistencyisproposed．Thecrowdsourcingtasksetisdividedintomultipletasksubsetsandeachofthemisregardedasataskphase．1enataskphaseisfinished．thewholevotesand纺enumberoftheworker’Svotingvalueagreeingwiththeworkinggroup’Sonearerecorded．Then。theworkers’precisionisevaluatedandtheunqualifiedw

5、orkersaredetected．A11theunqualifiedworkersaredynamicallyreplacedtoensurethatthecorrectrateofthegroupexceedsthetaskaccuracythreshold．TheeffectivenessoftheproposedmethodisevalUatedusingthreerea1．worlddatasets．whichshowsthatthemethodcanachievegoodperformance．Keywords：crowdsourcing；voting；consistency；qu

6、alityevaluation；dynamicalreplacement众包是一种分布式的问题解决模式和生产模估从而保证工作质量是当前众包研究领域中的热式，工作需求者(requester)将工作分配出去，工作点问题．者(worker)利用业余时间完成这些零散的工作，为了保证任务的精度，现有众包应用中往往同时可以收取一定的报酬．由于工作者是采用自采用两种质量控制策略，一种是基于黄金标准机由组织的工作形式，工作质量参差不齐，存在较大制(goldenstandardmechanism)的策略¨j，另一的不确定性：一方面，有些工作者工作懈怠，随机种是基于投票一致性(votingconsistency)

7、的策甚至恶意回答问题；另一方面，对于某些特定的任略一．务需求，很多工作者没有特殊的专业背景，很难完第一种策略通常设计一些具有标准答案的问成任务的指标．因此，如何对工作者严谨度进行评题，将这些问题在任务开始前或者在任务进行过收稿日期2013一l0—3O基金项目教育部高等学校博士学科点专项科研基金资助项目(20120042110028)；国家重点基础研究发展计划项目(2012CB316201)；教育部