开放平台产品技术发展

《开放平台产品技术发展》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、淘宝开放平台技术和产品演进放翁（文初）2012.8.28淘宝开放平台技术和产品演进萌芽（07年底）雏形（08年）产品化（09年）平台化（10年）市场化（11年）垂直化（12年）淘宝开放平台技术和产品演进萌芽（2007）业务：SAAS概念开始普及卖家类服务草莽成长（页面获取数据的方式）产品：内部开始试点SAAS平台，希望通过构建组件化平台，让isv依赖于平台搭建应用服务于卖家。萌芽（2007）萌芽（2007）技术：服务化：OSGI，SCA，Webservice，ESB，SOA解决手段：SCA结合S

2、pring方式来实现bundle内部spring简单组合，bundle外部通过SCA规范和Webservice实现接口互通。延展内容：服务安全，服务管理带来的痛苦：服务化看似很美好，但对于内部来说用框架限制太重，性能，调试，维护，协作效率都会受到限制。服务粒度控制成为最大的设计障碍，太细增加服务管理成本，太粗会降低服务复用性。（应用和业务模块边界的界定）关注于工具，平台，语言等表象层面的东西，忽略了市场对业务的需求，以及开发者真实的业务诉求（易用，商业化等）雏形（2008）业务：部分卖家应用开始

3、转型到阿里软件开放平台，服务市场有了简单雏形，淘宝业务开放走出了第一步。产品：阿里软件创建了阿里系第一个开放平台，业务对接阿里软件自有服务（旺旺，简单的企业管理流程），淘宝的服务。08年底，淘宝服务开放30个，日均服务调用量2000w。开放平台基础设施开始构建：服务网关，应用授权中心，开发者中心，简易的服务市场。雏形（2008）雏形（2008）技术：OAuth0.x的借鉴，自有授权流程的设计（步骤接近于OAuth2，客户端模式考虑不多）服务mashup的关注：数据层（Gdata，json等），语

4、言层面YQL，Yahoopipe（rss）数据分析：Hadoop的尝试，每日文件离线计算集中式缓存实践：memcached的引入和自有客户端的开发。（客户端容灾，软负载均衡，NIO等）产品化（2009）业务：卖家应用开始正式转战淘宝开放平台，服务市场有了明确定位（淘宝的卖家和买家），市场逐步有了。产品：淘宝开放平台，淘宝箱（卖家服务市场前身）。09年底，淘宝服务开放100个，日均服务调用量4000w。产品化（2009）产品化（2009）技术：流量控制，规则多样化。（集中式缓存）服务隔离：（尝试使

5、用jetty和tomcat，失败告终），尝试使用LVS支持软路由控制服务分流。利用mysql做一些在线及时分析，满足一些简单的统计告警需求。（hadoop做离线统计）自有日志分析框架版本雏形出现，解决MR编写维护成本，支持在线配置修改方式满足统计需求。（Hive的工作类似）优化web容器数据流解析部分。（解析原始二进制数据流，穿插业务控制内容到数据解析过程中，实现lazyparser，按需解析）平台化（2010）业务：淘宝正式对外宣布开放，赢在淘宝等运营活动激活了大量的卖家应用（管理，营销），买

6、家类应用逐步出现，顺应sns化，大量的游戏应用首先占有了买家市场。产品：淘宝开放平台（服务生命周期管理，数据透明化）。10年底，淘宝服务开放304个，日均服务调用量8亿。平台化（2010）平台化（2010）技术：流式数据分析单机到集群构建（反向任务索取替代正向任务分配，支持多数据来源分析，MS协作基础通信层建立），每半小时分析一次结果，分析规则动态配置服务隔离：初步引入Jetty，开始封装支持Comet的容器，实现web请求处理异步化API定义有schema描述，服务半自动接入，文档，sdk可自

7、动生成。对服务路由应用实行管道化结构重构，支持业务灵活降级和灰度发布测试，也为异步化web服务提供更细粒度的资源分配控制。数据访问控制层优化（富客户端：bloomfilter，多级缓存，访问降级控制）市场化（2011）业务：卖家市场趋于成熟，sns热潮退去，站内买家应用部分开放，无线市场刚刚起步，淘宝客市场飞速发展。产品：淘宝开放平台（多样化服务：ATS，TQL，Streamingapi，访问控制多样化）。11年底，淘宝服务开放798个，日均服务调用量19亿。（淘宝客占了一半）市场化（2011）

8、市场化（2011）技术：流式数据分析进入第一阶段成熟期（单机性能调优，多核充分利用（计算换存储），磁盘换内存，数据压缩，任务分拆（shuffle），经历着hadoop经历着的事情，保留着最初的设计基础），每3分钟分析一次结果，分析规则动态配置，用于告警和业务分析利用PipeComet框架在jetty上层做了封装，支持Streamingapi（实现消息外送的基本原型），服务异步处理隔离，保证了平台的稳定性。（不再受制于后端业务的稳定性）TQL为无线等对连接消耗敏感的开发者提供了技术基础。ATS为大