以数据为驱动的AIOps平台

《以数据为驱动的AIOps平台》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、以数据为中心的AIOps平台议题1海量多维数据收集2用人工智能点亮数据3用数据体现价值当前运维和业务团队面临的困境不是没有数据，而是数据太多不是不想分析，而是无从下手AIOps的技术栈可视化•多维度，个性化，角色化，场景化展示机器学习•算法自我修改演进，新算法创建算法•智能化选择，异常检测，异常定位，根因分析分析•数据建模，模式识别，趋势识别，故障隔离计算•数据清洗，去重，过滤，关联，生成新数据大数据•集中统一管理，历史数据存储，实时数据存储事件日志监控工单拓扑数据源•全量，海量，多样性，复杂性IT数据全栈IT数据的采集范围IT

2、系统监控对象采集数据业交易•交易量•交易错误率务•交易金额•交易处理时间层业务流程业务逻辑•交易成功率•……浏览器•页面加载时间•APP页面响应时间•浏览器类型•APP崩溃率移动APP客户端•用户IP•APP网络请求时间应传统架构云架构应用/微服务•页面加载错误率•APPH5页面性能用•CDN质量•JVM内存利用率应用代码软•应用响应时间•服务器时延件业务系统数据库服务•应用吞吐量•SQL语句执行时间层SaaS•应用错误率•连接池数量中间件服务中间件•单个服务响应时间•缓冲区命中率网络流量包•单个服务吞吐量•告警日志•单个服务错

3、误率•……数据库PaaSCMDB•虚拟机数量•网络流量基础IT资产库虚拟化•主机数量•磁盘可用容量设•CPU利用率•电源网络施虚拟化•内存利用率•处理器层IaaS主机•丢包率•配置项•平均建链时间•……机房环境硬件设备全栈IT数据的采集方式SNMP、IPMI、WMI、SMI-S、JMX、SFLOW、NETFLOW、IPFIX、SPAN、RedFish、JDBC、SSH、Telnet等RSPAN、ERSPAN等Rsyslog、NXlog、Kafka、URL、Host、Port、HTTP、IT数据SDK、RestfulAPI等RTS

4、P、RTMP等Java、.Net、PHP、Python、Ruby、StatsD、WebService、JSON等·Node.js、Andriod、iOS等议题1海量多维数据收集用人工智能点亮数据3用数据体现价值整合现有资源，打造数据驱动的AIOps的智能平台场景化视图深度关联分析多KPI组合告警业务服务情报IT数据建模大规模事务处理与分析人工智能与机器学习AIOps平台海量IT数据实时接入IT运维管理最佳实践基础资源数据任意IT数据流量数据交易数据资产工单日志数据数据应用数据APP用户浏览器用户体验数据体验数据AIOps平台必备

5、的技术特点•基础软硬件，应用，客户端，业务•数据集中存储，加工•指标，事件，日志，拓扑•秒级实时海量数据查询•全量、海量、多样的IT数据•历史数据持久存储•系统异常的精准检测•将运维行业经验与知识积累，•指标和事件关联分析转化成开箱即用的运维数据•故障根因快速定位模型可扩展性-与已有ITOM工具的对接JDBC，SNMPTRAP，WebService，……IntelligenceInsight海量IT数据处理平台的能力•直接捕获和使用数值型数据，指标数据管例如时间序列数据理Metricdata•吸纳海量多样化历史数据，并inges

6、tion进行索引和持久存储历史数据管日志数据管理理HistoricaldataLogdatamanagementingestion•任何软硬件设备生成的日志数据，并为访问分析建立索引AIOps平台实时数据管流量数据管理理StreamingdataWiredata•对实时数据进行标准化和索引managementingestion•从网络上直接捕获的数据包，化，以时间尺度实时展示数据文本数据管兼容多种网络协议理Documenttextingestion•通过NLP（自然语言处理）技术，对人类可读文档进行解析人工智能算法与分析平台应用

7、层自适应异常检测多维异常问题定位故障根因分析异常预测发现问题定位问题解决问题其他数据源异常标记关联分析根因分析单故障止损成本分析技术能力层单指标异常检测故障拓扑图调用链灰度版本止损容量规划多指标异常检测故障树告警压缩配置优化资源调度AIOps日志事件序列提日志事件模板提指标分布预测指标聚类KPI联动分析KPI事件关联算法层取取ARIMA奇异谱变换（SST）J-Measure分类DNN机器学习卡尔曼DiDTwo-sampletest聚类CNN算法层时序数据分解DBSCANApriori决策树LSTM/RNNHolt-Winters

8、Pearson关联分析FP-Growth逻辑回归NLPRMDBMQNoSQLTSDBHDFSMPPDB基础数据层事件指标日志工单作业监控议题1海量多维数据收集2用人工智能点亮数据用数据体现价值AIOps的核心价值故障发现根因分析数据预测决策支持KPI异常检测多K