手机微博LNMP平台精细化运维王春生

《手机微博LNMP平台精细化运维王春生》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、手机微博LNMP运维体系个人介绍•2004年加入sina，国内第一个大规模LAMP集群（动态应用平台）的设计和实践者，sina第一个大规模数据库集群的设计和开发者•一个不安分的工程师，经历过SA、DBA、产品开发、系统分析师和架构设计师、客户端开发、系统开发等工作，多年保持一线战斗状态•翻译《puppet3cookbook》《NoSQL权威指南》•微博：@平凡的香草求互粉经验？手机微博架构浅析CDN图床mapi接口开放平台核心池开放平台非核心池F用Me户Ce关………未d系………读服服务务手机微博故障及重点问题Login/AuthCrashFeed发布视频看

2、不了图片/视频上传ServerCapAPIReqFailAPIreqTimeOutConnectMCFail手机微博故障及重点问题•从业务及体验层面来看•认证、阅读、发布•失败•慢•崩溃•从技术架构层面来看•客户端•MAPI•OpenAPI、MC……•从问题缘由来看•容量、性能、容错、架构不合理•数据合法性•其他异常运维体系构想•What？•业务线关于运维需求的跟进处理•服务调整•容量规划•新业务•保证手机微博服务运转正常…balabala•How？通过一套运维体系来完成•Who？运维团队•Why？为什么这么做？运维体系的构成•产品线运维•事务跟进、资源分

3、配•方案设计、系统优化•配管部署（AOE，AutomaticOperationEnvironment）•监控（快速发现）•Zabbix+PlogFramework+monit•ZabbixSort+ZabbixTimeline•Log、LogSearch以及问题挖掘（快速定位）•Rsyslog•ELK+ERK•SLA服务质量分析系统（问题回顾、评估、多角度分析、报表配管•AOE•PuppetBased•Configurationversionsupport（SVN）•多产品线支持•权限控制•审核配管•软件包标准化•RPMPackage•/etc,/bin,

4、/sbin,/usr/bin,/usr/sbin,/var/run•/data1,/data0存储业务相关的代码，日志•配管ASAService•ticket监控•上帝之眼监控•IfYouCan'tMeasureIt,YouCan'tManageIt监控•选型•Nagios、zabbix、ganglia、bosun……etc•选择顺手的监控系统，目前来看，任意一款开源的大产品都几乎能够满足要求监控~监控项•监控项的设计是监控工作中最重要的环节•最小粒度原则，单机单项•汇总功能由监控系统完成•覆盖广度+深度•OS（cpu/mem/disk/network……

5、）•APP（Nginx/PHP-FPM/Rsyslog/Twemproxy/ATS)•Business（Ploghttps://github.com/SinaMSRE/Plog）监控~监控项~OS•监控~监控项~APP•APP级别的监控•复用server程序提供的监控接口•Nginx（accepts/handled/requests/Reading/Writing/Waiting）•PHP-FPM（acceptedconn/listenqueue/idleprocesses/activeprocesses/slowrequests）•……监控监控项~APP

6、•APP-nginx示例监控~监控项~APP监控~监控项~Business•Business•基于日志实时计算（Realtime）•Nginx日志、业务接口的curl请求日志……•对php->mc、php->mysql也有效……•以Nginx日志的监控为例：监控~监控项~Busines••php调用openapi日志：监控~Plog•Plog•https://github.com/SinaMSRE/Plog•Plog是"ParseLog"的缩写,是一套处理日志流的框架，日志流格式可以是Apache，nginx等常规意义的日志格式，也可以是自定义格式监控~P

7、log监控~PlogRsyslog的配置监控~Plog•在rsyslog中配置运行规则，使用rsyslog的管道监控~Plog•Plog的配置监控~Plog•Plog+Zabbix效果监控•Enough？监控•监控的目的：•Monitoringistheaggregationofhealthandperformancedata,events,andrelationshipsdeliveredviaaninterfacethatprovidesanholisticviewofasystem‘sstatetobetterunderstandandaddress

8、failurescenarios.@etsy•翻译过来就是：•系统