赵建春-AIOps 在腾讯的思考和实践

《赵建春-AIOps 在腾讯的思考和实践》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AIOPS在腾讯的探索和实践赵建春@腾讯社交网络运营部DevOps国际峰会2018·北京站目录1从一个NLP故事说起2从API到学件3我们的实践案例分享4思考和展望DevOps国际峰会2018·北京站从自然语言处理的一个小故事开始l二十世纪70年代，基于规则的句法分析逐渐走到了尽头。l1974年左右贾里尼克等人在IBM提出了统计语音识别的框架结构。l2005年，Google基于统计方法的翻译系统全面超过基于规则方法的SysTran翻译系统,基于规则方法固守的最后一个堡垒被拔掉了。VS二十世纪70年代前那些坚守基于规则句法分析的科研和学术人员

2、，注定是失落的。DevOps国际峰会2018·北京站对这个故事的思考和借鉴l语言的复杂与多样性和我们运维系统有相似性l我们的很多运维经验，其本质是一组组规则l我们的运维系统里，有大量的自动处理规则l规则好用，易理解，但往往有“场景”遗漏l当处理海量数据时，规则往往显得力不从心l规则，是我们的经验，也是我们的负担lAIOPS，是DEVOPS的补充，是对运维规则的AI化DevOps国际峰会2018·北京站从大量输入中总结出准确预测的规律（模型）数值型预测0/1型预测概率型预测等DevOps国际峰会2018·北京站易于接入AI的运维场景的特点•足

3、够的数据量级，重复次数高•特征（因素）较齐备l数据+算法+训练->模型•特征质量高（提取、清洗容易等）•正负样本易抽取l数据是基础•积累了正负样本库（标注）•有持续的正负反馈……DevOps国际峰会2018·北京站接入AIOPS的困难没有数据希望了解供需方均缺乏算法希望可以或者数据算法工作担心自身专家自主可控量级太少原理数据泄漏DevOps国际峰会2018·北京站AI模型与规则的差异较少改变时刻在变相对简单非常复杂容易理解很难理解API学件容易解释不易解释决策树路径ifelse专家总结学习总结回归参数caseswitch网络结构和参数har

4、dcode…数据无关数据相关…简单复杂规则AI模型DevOps国际峰会2018·北京站目录1从一个NLP故事说起2从API到学件3我们的实践案例分享4思考和展望DevOps国际峰会2018·北京站学件是什么？学件（Learnware）=模型（Model）+规约（Specification）概念提出者：南京大学教授，国内机器学习领域领军人物周志华老师。VSAPI／规则学件DevOps国际峰会2018·北京站学件的特点和优势l可演进（修改、学习）l可了解l可重用l可不依赖数据l可不依赖专家DevOps国际峰会2018·北京站AIOPS能力框架智

5、能调度串联应用单点学件基础算法基础数据AIOPS效率质量成本DevOps国际峰会2018·北京站AIOPS五级分类•尝试应用：开始尝试应用AI能力，还无较成熟单点应用一级•单点应用：具备单场景AI运维能力，初步形成供内部使用的学件二级•串联应用：有由多个单场景AI运维模块串联起来的流程化AI运维能力三级•能力完备：主要运维场景均已实现流程化免干预AI运维能力四级•终极AIOPS：有中枢AI，可以在成本、质量、效率间从容调整，达到业务不同生命周期对三个方面不同的指标要求，实现多目标下的最优或按需最优五级DevOps国际峰会2018·北京站AI

6、OPS是DEVOPS的补充，是对运维规则的AI化单点串联智能学件应用调度质量效率成本DevOps国际峰会2018·北京站目录1从一个NLP故事说起2什么是AI运维学件3我们的实践案例分享4思考展望DevOps国际峰会2018·北京站单点案例成本—内存存储智能降冷DevOps国际峰会2018·北京站内存存储智能降冷-背景社交网络的业务特征访问量大优先选择内存KV存储延迟敏感随着业务发展，内存数据和成本迅速增加DevOps国际峰会2018·北京站存储内存智能降冷-方案l生成数据特征--制作数据画像（抽样扫描业务数据）KEY长度记录大小最后读时间

7、最后写时间过期删除时间周期热度变化访问量业务数据量空查询率l专家经验打标分类l生成分离策略--机器学习预测是否能够下沉l根据预测结果自动执行流程逻辑回归随机森林DevOps国际峰会2018·北京站算法选择—LR和随机森林#使用逻辑回归预测召回率:0.82；lr=LogisticRegression(C=0.1,penalty='l1')准确率:0.81；lr.fit(features_train,labels_train.values.ravel())lr_y_pred=lr.predict(features_test.values)cm=

8、confusion_matrix(labels_test,lr_y_pred)#计算混淆矩阵的召回率print("召回率:%.2f"%(cm[1,1]/(cm[1,0]+cm[1