易盾反垃圾主要技术讲解

《易盾反垃圾主要技术讲解》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、易盾反垃圾主要技术讲解在互联网创新，创、Ik潮的冲击十，大量拥有互联网交互式服务功能的产品正在兴起，在这些产品发展的过程中，均会遇到各种各样的垃圾信息。由于垃圾信息天然的“趋热”特点，产品拥有的用户撒越人，“热度”越商，垃圾朵也越人。为了便于表述，我们暂且把这些发送垃圾信息的人或者团队称为“垃圾虫”。发垃圾信息的灰色产业经过数十年的发展，垃圾虫己经进化的相当成熟和强大了。ffl对而言，新兴互联网产品在处理垃圾信息方而还是缺乏经验的“新手”。易盾•反垃圾云服务的推出彻底改变了这一现状：川网易多年积累的技术和经验对付各种发垃

2、圾信总的“散兵”，nJ以实现更加全面的防护和更好的过滤效果。而产品木XI，也不需要再关心这种“非正常”用户对产品数裾的扰乩和影响了，对于各种追求“敏捷开发”的新兴项鬥和产品的策划和技术人鉍，工作S人大减少，可以更加专注于产品本身的功能策划和技术研发。易盾•反垃圾的主要技术和优势易盾•反垃圾的技术基础來自网易内部所奋产品的反垃圾技术方案，足积累和发展了十儿年的成梁。在技水领域上主要分为：垃圾发现、垃圾识别、垃圾处理三大类别。其中毎个大类下又划分为不同的子技术类型。垃圾发现垃圾的发现是为了解决层出不穷的新类型垃圾W题。曲于中

3、文的博大精深和垃圾虫的“狡猾”，基于固有样本的识別和检测效果是非常差的，我们必须有一套有效率及时的垃圾发现机制。具体柯以下几种：•用户举报群众的眼睛是雪亮的，充分的发动用户，发动产品“粉丝”的积极性，可以极大的提高反垃圾工作效果。良好的平报功能也是要花很多精力去设计和开发的。比如难报按钮的位置,举报的分类，举报的奖励机制等。这些都会影响川户的举报积极性。科学的举报分类可以极人的帮助反垃圾训练特征样木。逑议根裾产品实际怙况和相关法律法规定制良好的举报机制和举报分类。•内容聚合对于广告类型的垃圾，它们的首耍n的就是博取眼球，

4、追求高曝光率。为了达到这个r的，垃圾虫通常都会发送数暈可观的信息，以景取胜。而这些人量的数据为了寅传同样的广告内容，比如“开发票”之类，就一定会有相似的a容存在。我们可以对这些相似的内容进行实时分析和聚合，及时发现真正的垃圾。•蜜罐系统通常垃圾虫都有特定的工具I办助來进行垃圾信息发送，而这些工具大多会分析页面元素进行调川。我们在页面屮埋伏一些“密罐”，正常的川户无法看到这些入U1,似是程序会直接调用这些入u进行垃圾信息发送。比如某一些隐藏的评论主题，只柯程序会去抓取这些主题并对它们发送垃圾信息。那么进了这些“蜜罐”里的人

5、，都可以被判断为非正常的用户。垃圾识别•特征匹配基于己有垃圾特征进行匹配，是较为常见也较为传统的识别手段。对于文本来说，最常见的是关键词匹配。随着反垃圾的经验积累，技术发展，关键词系统在功能上也会不断扩充。易盾的关键词系统除了普通的文字匹配外，对于各种文字垃圾的变种，也能有效识别。比如：“发票”的各种变种：【形近字】（发I犮峨）（票I栗I粟I溧曝職I骤..【音近字】花I發I筏..针对罔片的特征识別，易盾专门研发了一套

6、?1片特征提収算法，稳定性好，匹配性能高,支持即I旋转、编辑、裁剪等的识别。同时我们还针对色情等图片的特

7、征研发了人体肤色识别，人体特征部位识别，人体姿势识别等特征检测系统。支持人像识别Z支持色情图片检测Z支持动漫识别Z支持相似匹配■支持图片旋转、裁剪■支持改变图片亮度、色调■支持水印识3J＜广告＞图片识别功能举例【相似匹配-翻泊】［相似匹配-裁剪］［相似匹配-改变色调】［相似匹配-旋转］•模型匹配这个比传统的识别方式更为高级。易盾基于深度学习的算法训练了大量的祥本数据，用计算机模拟人脑神经网络的原理，使计算机训练后其备一定的识别能力，讨以4:没有具体特征样木庠的情况下'识别闪界的分类。比如一篇文章内界机器自动可以识别是否是

8、广告，还是普通文章。也能识别色情图八，低俗图片，暴恐图片，违禁品图片等。音频文件也通过人S语料学习能把语音转换成文本，然后进入义本匹配过程。针对暴恐图像的识别•规则匹配为了提萵反垃圾效果，我们希望不仅仅通过代码和算法对数裾进行处理。我们需要一个快速响应和准确针对的机制。规则系统就足这样的-个机制。规则系统支持传统的正则农达式也支持各种基于元数据的定制。垃圾处理•普通操作易盾支持删除内容，封禁内容，封禁用户，删除用户，封禁IP，封禁设备等常规手段，可以按垃圾严重程度采取不同乎段，或者不问措施相互配合完成对垃圾的处理。•后续

9、操作仅仅处理挿垃圾是远远不够的。反垃圾是一场持久战，垃圾虫也会不断进化。易盾每天会把删除的垃圾A矜汇总到A部人数裾平台，由人数裾分析组进行分析和数裾挖掘，分析和挖掘得到的新型特征川来支持各种模型以及规则的更新和升级。以上为易盾的主要技术分类。当然每一个类别下都还有很多更深的细节，几乎每一个细节都可以展开成一篇文章。以