让大数据量应用不再可怕

《让大数据量应用不再可怕》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、让大数据量应用不再可怕Esri中国罗雄1主要内容一、典型大数据量应用场景二、应对之策三、我们何以不畏？应用平台数据典型大数据量应用场景3大数据量区别于“大数据”要素数量图层数量多多大数据量动态关联信息实时多空间数据，一般是结构化应用需求数据展示地块、图斑数据海量点数据（犯罪信息、城管事件点）动态更新GPS目标监控运行轨迹应用指标运行监测社交数据挖掘与展示平台地理分析数据路径分析空间分析5归纳总结渲染显示分析计算数据访问案例分享运营商流量经营战略地图提供网格级别的三网流量分布、流量占比分析、上网用户分析等

2、特点海量数据实时显现与流量经营相关的数据多指标灵活分析当日数据，次日在地图上显示网格呈现全省划分为500m*500m网格网格数量几十万地图上分指标展示（网络覆盖、流量使用、客户分布…)业务前提大多数时候过滤后展示网格2-3万极特殊情况下全省展示应对之策8流量经营战略地图问题指标更新，动态关联到网格客户端渲染，2-3万量级的网格无法显示完全展示速度慢，特别是全省级别思路优化动态关联服务器端渲染9方案A：2-3万网格渲染思路视图实现业务表和空间网格的动态关联QueryLayer实现表格空间

3、化展现查询条件来控制显示过滤动态图层服务器端渲染createorreplaceviewviewhbgridasSDESELECTw.objectidASid,w.descriptio,w."PINGJI",h.shapeFROMworkw,gridhbhWHEREw.descriptio=h.descriptio;SQL直接解析表中的空间字段1-2万网格效果4万网格效果全省（10万）网格效果方案B：全省网格渲染思路化动为静，预先生成栅格化一周或一个月内的全省范围指标栅格图14动态工作空间加载栅格数据显示效果前端

4、绘制Cluster根据空间位置进行聚类根据属性进行聚类17各种聚合方式特点：方便、效果丰富、容易控制空间位置聚合属性分类聚合聚合分类渲染前端绘制热点图直观、动态地展现热点区域前端绘制FeatureLayer局部绘制、简化要素服务器端绘制将大量动态数据制作成缓存文件，保存在服务缓存（栅格化）器上“以静制动”原则按需加载减少http请求次数maplarge.com基于切片位置快速动态交互21服务器端绘制动态图层数据在更新(新服务、新图层）客户端展示不同的渲染动态图层附属于动态地图服务识别工作空间

5、服务器端绘制WebAPI更新渲染FeatureLayerDynamicLayers驻存于客户端服务器端服务器返回类型FeatureSet图像编辑是否支持大量要素否是过滤方法支持不需要MapTips支持支持图层增删改不支持支持渲染符号支持支持，高性能服务器端渲染动态图层过程图层修改图层符号系统、图层顺序以及标注等总结服务器端富客户端是王道很灵活架构设计很重要26我们何以不畏?27强大的平台产品桌面Web移动Server在线内容和服务基于Web的GIS基础设施平台28空间数据存储GeodatabaseST_Geometry

6、ST_Raster空间索引支持Teradata和NetezzaVectorsTopologyAttributesQueryLayerImages……107’NetworksABCDimensionsAnnotation基于原生数据库的要素服务空间数据服务QueryLayer编辑QueryLayer通过要素服务编辑DB2，Informix，Oracle，PostgreSQL和SQLServerMosaicDataset影像管理模型集成了RasterDataset(浏览、使用）和RasterCatalog（存储）的混合技

7、术丰富函数动态处理动态镶嵌，实时处理客户端数据库提示：可以通过MosaicDataset来管理预生成的栅格文件大数据分析支持Hadoop大数据分布式并行处理框架HDFS分布式文件系统并行计算equalsbuffer数据仓库disjointcut空间化空间数据存储touchesclipST_Geometry/JsoncrossesconvexHull空间操作withinintersectcontainsunionoverlapsdifference32GIStoolsforHadoop为Hadoop提供空间数

8、据展示、查询及分析能力开源工具包https://github.com/Esri/gis-tools-for-hadoopGeoprocessingtoolsforHadoop实时位置数据处理ArcGISServer扩展模块基于数据流服务器端实时处理灵