阿里巴巴大数据智能技术

《阿里巴巴大数据智能技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、阿里巴巴大数据智能技术阿里巴巴数据技术及产品部王赛1234问题与挑战Dataphin关键技术变革阿里数据中台普惠社会问题与挑战大数据团队典型问题分析师数据工程师团队主管如何高效使用数据如何最优建设数据如何招聘数据专家大数据之路的挑战数据流失存数据资产管数据孤岛通计算性能数据质量实体识别标签挖掘跨数据源异构存储成本研发效能数据服务业务应用采集&集成规划设计连接萃取Dataphin：让数据工作协同、智能化让一切一起协作：数据工作台的崛起Makingeverythingworktogether:Theriseofthedataworkbench。@The2017BigDataL

2、andscapeMattTurck国内专有云国际公共云国内公共云Dataphin产品架构管理及面向业务的、基于主题的统一数据服务服务层统一数据资产及其管理数据建设&管理方法论数据层垂直数据中心全域数据中心萃取数据中心OneService垂直数据处理套件全域数据研发套件数据连接萃取套件数据采集管理工具智能数据建模及研发管理工具ID识别连接工具OneID工具层数据清洗及结构化工具调度运维监控工具标签画像生产工具数据同步集成工具OneData技术内核业务逻辑模型标准化数据定义智能物理模型智能计算框架兼容多计算引擎全流程一体化向上多样化赋能场景向下屏蔽多计算引擎双向联动···业务

3、与产品&技术协同互助从数据采集到数据服务全链路通通用产品+行业产品+专享产品公共云+专有云+私有云OneData方法论OneID方法论OneService方法论数据标准化技术驱动数据连接主题式数据服务数据规范定义从业务源头标准化基于超强ID识别技术连接数据主题逻辑表屏蔽复杂物理表技术内核工具化技术内核工具化统一但多样化数据服务规范定义、建模研发、调度运维、···超强ID识别、高效标签生产、···一般查询+OLAP分析+在线服务元数据驱动智能化业务驱动技术价值化跨源数据服务半自动化->智能化规划计算和存储孤岛->高质量->高价值屏蔽多种异构数据源基于Dataphin数据建设

4、标准流程数据建模研发数据引入数据规范定义数据资产管理数据主题式服务数据连接萃取智能数仓规划运维调度Dataphin：关键技术变革业务逻辑模型：物理表视角企业级业务视图视角概念模型逻辑模型物理模型数据分析师数据工程师业务逻辑模型让协同变得简单公共商品空间协同开发复用共享业务空天猫商品淘宝商品航旅商品间子模型=父模型主键子集合+子类扩展属性提升效能数据一致标准化数据定义：复用数据复用计算逻辑比较型指标业务限定原子分析粒度派生指标指标统计周期业务度量过程派生指标Y=f(@原子指标,@业务限定,@统计周期,@分析粒度)智能计算引擎生成及优化代码c1=f1(x)智能计MaxCo

5、mpute算引擎计算执行单元1c2=f2(x)算子重组Hadoop业务逻辑模型c3=f3(x)计算执行单元2临时表自动选择Sparkc4=f4(x)防倾斜处理计算执行单元3物理表选择优化Greenplumc5=f5(x)主题式的智能查询技术SQLOnPhysicalTableSQLOnLogicalModel•动态路由•支持多平台•垂直拆分并行查询•虚拟物化视图智能物理模型管理c1c1c2c4c5c6c7c8c9c10TableA.keys={k1,k2,k3}计算依赖K1TableA.colums={c1,c2…c10}TableA查询相关性K2产出时间K3TableB

6、.keys={k1,k2,k3...k7}K4TableB.colums={c1,c2,c3,c4,c5}水平切分K5TableBTableCK6垂直切分TableC.keys={k1,k2,k3}TableC.colums={c5,c6,c7,c8}K7阿里数据中台普惠社会阿里数据中台打造云上大数据方案Application战略决策应用全链路营销应用数据化运营应用智能CRM应用智慧零售应用······行业应用，因行业而异，为客户专享数据融通数据交换SaaS通用工具行业产品DaaS······QuickBI

7、DataV

8、ADplus

9、······Dplus

10、Oplus

11、智

12、能分群

13、······通用工具

14、行业产品数据共享服务质量管理PaaS垂直数据处理套件全域数据研发套件数据连接萃取套件数据管理与服套件数据采集管理工具

15、数据结构智能数据建模及研发工具

16、ID识别连接工具

17、标签画统一数据资产及其管理工······Dataphin智能数据引擎化工具

18、数据集成工具…调度及运维工具······像生产工具······具

19、统一数据服务······IaaS服务器数据库计算引擎······硬件及计算引擎全方位赋能政企客户建设大数据赋能技术数据运营能力能力能力