笔记_casual note A Survey of Crowdsourcing Systems——众包系统的调查

《笔记_casual note A Survey of Crowdsourcing Systems——众包系统的调查》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、WItkey威客wit+keyHowe的定义+由非专业人士提供专业内容，消费者兼为内容创造者的一种模式。ASurveyofCrowdsourcingSystems——众包系统的调查近年，众包由分布式问题解决和商业生产模型发展演变而来。杰夫·豪于2006年提出了众包这一概念，至此，大量有关工作聚焦于众包的不同方面，包括计算能力和性能分析等。本文，我们将对迄今为止众包的有关文献做个总体的概览，这些文献将众包分为其应用、算法、性能以及数据集这四个方面。1.引言部分提到了有些对计算机难以完成的工作(图像注释)对人类来说却是微不足道

2、的，但是这同时也增加了企业的生产成本，众包就是为解决这一问题和充分利用人力资源。SheepMarket就是一个明显的例子。互联网的普及也加快了众包的应用，本文第二部分是有关众包应用的研究，第三部分研究众包系统算法，第四部分是评估众包系统性能，第五部分介绍网络上可用的实验数据集，第六部分对我们所做的研究和工作做个总结2.A.亚马逊的投票系统MTurk：几何推理任务、命名实体注释、观点、常识、相关性评估、自然语言注释、垃圾邮件识别B.信息共享系统：Wikipedia、Yahoo!Answers、Yahoo!Suggestion

3、Board、Thewebsite43Things、Yahoo’sflickr、del.icio.usCrowdsourcingaWikipediaVandalismCorpus——众包一个维基百科破坏语料库维基百科是众包的一个成功的案例，其词条的编辑是一个合作的过程并且编辑者可以随时更改，这样有利于其提高和改进。但维基百科也面对着一些问题，如破环行为和编辑战等。其中对于维基百科破环行为的自动检测是我们所要考虑的问题，为此，我们研发了一个大型的人工注释的破坏语料库(使用亚马逊的Mturk)，这也为破坏检测算法的评估提供先决条

4、件。语料库的设计包括：语料库布局(使用编辑前后的一对修改的ID，以及其编辑是否是破坏行为的标签)、语料库的获得(维基百科中文章的修改历史)、预料库的注释(设计任务要使得工作者或者接包方能够认真完成而不欺骗)关于微任务市场(众包平台)的任务推荐随着研究者对于微任务众包市场的关注，任务属性也从简单的机械劳动转为特定的认知能力。这种任务和用户人数的增加也催生着更好的搜索界面以得到更具产出性的用户参与。在这篇论文当中我们提出，对于用户技能的理解和为他们提供合适的任务，不仅能够最大化产出的质量，而且就完成的更加出色的任务方面而言也能

5、够最大化用户的利益。我们为了给用户推荐任务，基于技能和兴趣建立了模型，进而实现了一个推荐引擎。我们呈现的实验结果来自于对我们系统的初步评估，其中使用的公共数据是从最近在MTurk上进行的一些人工计算实验得来的。众包平台上的工作流(需求者发包，用户接包，后者上传成果，前者对搜集到的成果进行评估并选择最优的结果，最后付一定的报酬给中标者或者对所有人付给不同的报酬)是次优的。从需求者的角度看，首先他需要设计具有创意性的策略以使得自己的任务能够在众包平台上处于一个显眼的位置；其次需求者需要设计更好的方法从而在搜集到结果或数据后，进

6、行过滤或者质量检测。有研究(关于用户的搜索行为)表明在众包平台上工作者大部分都会只看最近刚发布的任务，而且是这其中的前两页。从工作者的角度而言，他通常是选择报酬丰富的任务(可能自己并不擅长)。极少数用户会花时间仔细浏览10页或者以上去选择自己希望从事的任务。总而言之，我们列举一下现今微任务市场(众包平台)工作流的缺点，这些众包平台对于需求者和用户都不太有效。1、真正有技能的工作者，他们对于特定的任务非常合适，却可能在合适的时间没法搜索到或者找到这些任务。而其他人可能也无法对这个任务做出一定的贡献。2、技能稍弱的工作者可能会

7、尝试去做这些任务，产出一些不合标准的或者是由噪音的产出，在此情况下，需求者还需要额外花一定的精力去辨识和清除这些数据。3、研究者可能会为此花费更多但不必要的成本，比如重新发布任务以获取冗余的判断。4、能力低的工作者可能产出低质量的成果，同时冒着被拒绝的风险，这样反而会损害自己在众包平台上的信誉。5、这样一个恶性循环导致柠檬市场，在这种市场中需求者对工作者缺乏信任，不愿意付出合适的报酬，这样也导致吸引低质量的工作者参与进来。6、低质量的输入(数据)会影响研究者和他们潜在的研究系统，最终导致他们也失去了使用众包的信心。建议的解

8、决方法：我们假设现今微任务市场的工作流是导致低质量输出的一个主导因素。因此我们提出一个推荐系统，基于工作者的技能和兴趣推荐任务。我们假想，通过用户行为得到的内在或外在的反馈数据可以得出该工作者的兴趣范围。我们讨论对于构建用户选择偏好有用处的信息，同时提出两种不同的构建推荐系统的方式。最后，我们的观点是：