天云大数据技术介绍50.pdf

《天云大数据技术介绍50.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据情报平台建设演讲：冯大志日期：2013.6议程大数据时代及大数据应用大数据技术与传统技术体系的对比大数据时代对数据处理的要求数据价值的再发现大数据时代及大数据应用大数据及大数据时代“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”———哈佛大学社会学教授加里·金海量（Volume）多样（Variety）快速（Velocity）个性化描述家庭信息生理特征可移动设备的行为轨迹车辆位置重视因果还是相关性要效率还是要准确经验主义，大师文化，在纷繁复杂的人类行为活动数据中显得苍白无力，相

2、对于在已有数据范畴经济活动和人类活动都是非线性离散内的准确定位，需要思事件，只有借助科技手段对大量事件金融往来考对外部海量行为信息现象去归纳寻找发些客观规律，辅助社交关系图谱业务人员推理判断。deeplearning的探索与发现。如何引等非线性的算法可以从大量稀释数据入外部数据集，多元多价值的海量数据中，“聪明”地学习样化的数据源和数据结到事物的相关性。构（监控视频、社交媒体、手机信令移动轨个人通信全数据模式：样本=总体迹等等），通过系统快视频信息速处理在20％的有效时目前的云计算平台计算能力的颠覆，间实现80％的准确性，提供了对全数据集的实时

3、计算，为刑一定成本规模前提下有侦、情报等业务专家提供创新信息化效扩大监测范围。工具纽约警察局利用全量数据作为制定战略和决策的基础CompStat，是COMPuterSTATistics（计算机统计）的缩写，现在已经演变为专有名词，特指一种警务模式案件发生在哪里警察就出现在哪里，是让罪犯牵着鼻子跑；要控制局面，抓到老鼠，警察一方必须掌握主动，做一只有”预测能力”的猫地图上的原点不分案值大小、案情轻重，一律同等对待珍妮特（美国第一位女司法部长）大力推行“数据驱动”的管理方法：数据和信息是执法工作当中制定战略和决策的基础通过把20多年的犯罪

4、数据和交通数据整合到一起，并映射到一张地图上之后，警务人员发现交通事故高发地带，正是犯罪活动的高发地带，甚至交通事故的高发时间段，也是犯罪活动的高发时间段要效率，大数据3秒锁定疑犯－公安刑侦系统应用解说词：乘坐同一班列车，住同一酒店的两个人可能是同伙，刑侦人员将不同线索拼凑起来排查疑犯，可是来自于多源数据的处理在传统IOE架构上，需要数小时甚至整日。天云大数据平台将这一操作缩短至3秒，同时描述出疑犯的交往关系。公安人员可以基于计算出的线索流畅的思考。大数据的效率让量变成为质变，形成新的洞察与知识大数据还告诉我们，市民在抱怨什么？311onlin

5、e–智慧城市网格化管理的民情播报实时监测公共数据，聚会分类各种相关民情：公共卫生，公共安全，环境设施，社区养老，紧急事件…大数据技术与传统技术体系的对比1.数据集中≠情报融合I.T.:InformationTechnology云大数据彻底改变IT彻底改变业务TechnologyInformation是一场提高社会生产力的IT变革是新时代的生产资料是一场推动社会整体信息化的IT变革是推动企业业务创新的源泉云-数据垂直整合物理资源集中管理，通过虚拟化实现数据和应用的分立应用1应用2....应用N云管理平台安全管理调度报告GoldSilver

6、Bronze地市省级垂直应用ExternalMulti-VMPhysicalCloudsData多虚拟机物理设备外部云Center数据中心系Systems统ServerStorageNetwork服务器存储网络大数据-数据融合：非共享MPP架构分布式计算框架的构建，解决大数据查询，分析和计算的瓶颈天云大数据平台1数据节点处理核心Processor&客户端streamingODBCJDBCType4编译器2数据节点处理核心SQLProcessor&streaming执行查询计划引擎3数据节点处理核心Processor&streaming优化高性能

7、数据库引擎管理源系统Streamingjoins,高速加载/导出aggregations,sorts,etc.1000+数据节点处理核心前端LINUXProcessor&streaming前端主机以太网基于X86平台MPP架构传统的垂直架构在处理海量数据面临的问题应用一应用二应用NRDBMSRDBMSRDBMSServerServerServer应用RDBMSRDBMSRDBMS+++ServerServerServer+Storage+Storage+StorageStorageStorageStorageMoveDataMoveCodeDa

8、taPlatformasServiceDataScienceasServiceStreamingJob/SQL/Batch/Script…Machin