hbase数据库在亿方云实践之路-15页

《hbase数据库在亿方云实践之路-15页》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、云Hbase数据库在亿方云实践之路亿方云科技CTO王成军个人简介：王成军（剑魔）•亿方云科技合伙人&首席技术官•2011～2013IBM企业智能技术商业化研究与咨询•2005～2011阿里&淘宝技术专家12345亿方云数据架构Hbase实践亿方云Hbase演进随手可得的智能计算内容企业文件的管理…共享网盘研发文档管理供应链数据资料共享OA文档知识归档企XX业Windows网络存储供应商资料库数APISDKX交付文档系统技术文档系统据PAAS账号体系标准组件安个百度网盘本地硬盘全…人QQ群共享邮件系统存储搜索预览编辑权限应用文件

2、管理现状统一内容平台需要处理的数据性能扩展日增文件100w+•适合我们的技术选型？管理成本日增统计500w+日文件状态1000w+存储维度动态可变，字段随意增加容量和性能可动态弹性伸缩，支持PB以上数据日增日志亿+分布式与高可用的底层架构，自动拆解分表路由已有文件丰富的生态圈和活跃的社区支持数据平台架构用户群组文件列表页权限模型套餐售卖文件夹动态客户端推送文件跨企业协作文件流量统计数据探索数据计算交互查询智能计算交互查询数据应用基础数据层（轻聚合）数据服务层（高聚合）…源数据层（脱敏）数据集市（打宽）数据存储Green

3、分析Plum…SQOOPHDFSFLUME账号注册信息用户行为操作日志…WEB日志流量日志第三方数据数据装载文件增、删、改、分享、协作、预览…后台服务日志文件流量日志•场景一：跨区域间文件外部协作异步任务生成2核心数据Mysql集群存储，不同库之间基于企业维度进背景行拆分建立，单独的库负责记录metadata映射信息数数据收集MQ引擎计算数据加工WEB据XmanProphet应企业与企业协作办公场景下可共享文件资源（新建、上用业务传、复制、全文检索）等并相互可见同步任务获取1跨库访问其他企业分库的文件/文件夹数据，文件、文件难

4、点夹都是上亿级别的数据，在Mysql数据库做id到分库的索引不现实数据分析生成1Prophet获取2Hbase存储一张映射表，负责存储全局信息路由到分库方案的策略，文件信息索引存储在hbase，数据库（主库，路由库）负责存储企业到分库的索引搜索适用性数据量大，业务场景简单，无交叉列、交叉表，事务，连接等•场景二：文件实时消息推送背景实现云端与同步端文件实时同步异步任务ListenWrite消息推送增、删、改、查任何客户端文件变动需同步至云端数据收集MQ任务处理业务Realtime平台，其他终端设备接入后接收来自云端的最新信Pr

5、ocessor息将文件更新为最新状态。保持事务的时间序列数据量大，同步信息以json难点形式存储，需要批量集中获取数据鉴权WEB方案根据业务需求存用户设备信息、用户设备的推送上传下载消息推送队列和文件变动信息。Realtime适用性数据量大，查询简单，半结构化数据，可识别属性少亿方云Hbase演进之路ECS主从同步云HbaseMasterClusterSynchronousCallSlave监控ClusterHRegionHTableServerSynchronousCallSlaveHRegionClusterServerH

6、Table自动化SynchronousCallHRegionSlaveServerClusterHTable容灾演练…HLog云Hbase专业高效节能专注亿方云Hbase应用ing风控信息计算相关度计算文件元数据