阿里巴巴人工智能驱动大数据 (1)

《阿里巴巴人工智能驱动大数据 (1)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、阿里巴巴人工智能驱动大数据资深算法专家杨红霞阿里巴巴–数据技术及产品部12345复杂的大数据数据清洗全域实体识别自动化标签生产系统总结复杂的大数据阿里巴巴数据生态SocialMediaProfessionalLocation-BasedServiceProvidersMobileBrowserMarketingDigitalEntertainmentFinancing&PaymentSolutionSELLERSBUYERSLogistics$OnlineandMobileCommercePlatformDATATECHNOLOGYTEAMCLOUDCOMPUTINGOPER

2、ATINGSYSTEM数据新能源算法数据智能解决方案算法平台数据资产技术数据采集管理平台管理平台数据计算开发平台海量数据的挑战海量数据碎片化标准不一质量不一•EB级数据•业务类型复杂•结构化vs非结构化•支付作弊•总表数百万级•底层系统差异•业务规范差异：•流量作弊•计算能力•多终端：PC、无线、金融实人vs浏览器•脏数据•稳定性OTT、IOT…人工智能解决方案算法平台产品可视化产品反作弊自动化预测三位一体数据管理数据地图OneIDGProfileI+知识&行为图谱IDMapping聚类分析用户分层社区发现传播路径关联分析因果分析分析解决方案分析可视化算法模型LinkAnal

3、ysisModularAnalysisEmbeddingAnalysisInference模型探索可视化算法主要方向反作弊UniIDGProfileOneGraphOnePrediction分布式IDE，架构可视化FLASH语言ODPSSpark其他计算引擎数据阿里生态内:阿里集团阿里全资子公司阿里控股子公司阿里生态外:政府&企业数据资产可视化来源数据清洗数据清洗架构账户/设备/订单用户/设备质量&APP渠道反作弊流量反作弊作弊设备识别作弊动机&原因推断应用层风险预测价值评估评估层召回量&准确率监控作弊账号/设备行为监控业务指标监测第三方业务评测规则引擎&业异常检监督&无算法

4、层模型层特征联合校验基于Graph的算法实时反作弊务系统测监督学习账号/设备静态电商行为特设备行为特特征层LBS特征信用等级行为质量特征征征全域识别与自动化标签生产系统数据应用回流全域识别：链接行为中心：标准标签工厂：自动优化全域数据接入全域实体识别全域实体识别架构输出离线识别服务在线识别服务匹配识别强召回弱召回特征迭代补充多模型迭代强匹配筛选模型融合协同规则系统实体标注实体消歧关系识别多模态关系推断协同训练回流特征上下文关系特征图片特征网络关系特征位置特征时间特征渠道特征设备特征主题特征行为特征其他特征Word2VecNode2VecMetapath2VecOneHot归一

5、化LSHSimHashCRFLSTMTFIDF映射映射全域输入电商视频音乐旅行O2O……全域实体识别-特征模块特征流输出特征流输出实体关系图片特征文本特征设备特征主题特征从属特征网络关系特征购买关系特征相等关系特征特征特征视频特征文本特征时间特征位置特征渠道特征关注特征社交特征其他特征Locality-SensitiveHashingMetapath2VecStruct2Vec非结CNNLSTM图特征Node2VecLINE构化Word2Vec多模态基础OneHotTFIDF模拟器识别设备工厂反作弊处理归一化补全设备反作弊账号反作弊全域实体识别-识别模块匹配强召回弱召回特征迭

6、代补充多模型迭代强匹配筛选模型融合协同规则引擎实体识别关系识别实体标注实体链接关系推断关系标注实体消歧社区发现多视角交叉多模态实体对齐大规模异构图深度学习特征流输入特征流输入自动化标签生产系统物流旅游用餐出行音乐数据加工：数据访问：•行为规范视频•服务化•明细层线上购物标签丰富性•操作算子：•汇总层比较算子•服务层逻辑算子体育匹配算子线下消费资讯支付理财健康标签生产的要求标签生产数据源要求标签生产的复合能力需求响应速度异构数据源的融合与多行业经验和算法能力需数据预处理和特征渠道获取要配合工程很费时数据采集与加工处理过业务规则制定与适配沟模型训练迭代过程程繁琐通成本

7、高不断重复标签工厂自动化标签工厂架构消费者算法层特征工程噪声处理分层化归一化降维公共层有监督学习GBehaviorSingle-LabelMulti-LabelsTransferLearningGProfileEmbeddingEmbeddingEmbedding半监督学习质量评估基模型配置模型配置模型配置础商家数据精准性评估网络结构公用部分公用部分无监督学习数公共层据任务独占部分任务独占部分稳定性评估损失函数DeepLearning层商家能力矩阵多任务损失函迁移任务损失优化方法数权重配置函数权重配置A