aida 运用postgresql进行数据统计

《aida 运用postgresql进行数据统计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、运用postgresql进行数据统计 专注移动数据分析系统 aida@lotuseed.com产品介绍 设计目标：系统高效稳定，功能扩展灵活。莲子定位：为独立的第三方大中型移动应用开发商和平台运营商提供一个高效的自有平台，该平台除了具备行业里常见的同类统计分析软件的所有主流功能外，还具备丰富的扩展接口，提供二次开发可能，以满足用户各类自有业务的独特属性和业务需求。莲子平台专注企业级移动数据分析的系统平台报表定制 渠道分析 用户分析 终端分析 产品全貌 1231平台导航 2用户综合数据 3用户趋势图 44产品列表 私有云系统架构 日志收集SDK日志统计分析报

2、表呈现主数据库存储选型 Nosqlrdbmsmongodbpostgresql接口友好性hbaseOracle成熟度Memcached/Mysql适用场景redis…………RDBMS选型 licensePG特性其它•无任何版权问题•自定义数据类型•市场环境•ARRAY•降低企业发展面•可自行任意定制•其它DB产品不临的技术产权风具备的类型险(如:bit,enum…)运用postgresql—第一阶段 数据序列字典化日志数据数据汇总数据网络IO内存的重

复开销运用postgresql—存储过程 •获取数据集–实时获取某类型数据表最

3、近未处理数据集–补全数据集的数据项•调用统计子函数列表–扫描统计函数脚本列表–分组并行调度函数列表•标记已处理的数据集运用postgresql—存储过程 •汇总参数提供的数据集–根据子函数特定逻辑统计当前数据集–产生统计结果集•把结果集导入最终表–找出对应结果集存储的汇总表–Insert结果集的所有数据•外部定期处理汇总表–减少汇总表数据集的大小运用postgresql—存储过程-优化 •获取数据集：–选取合理的未处理数据集大小–获取时需考虑各种情况(单条插入/批量插入)•分组执行–合理划分统计子函数•实时展现，执行时间短•只需要准实时或批处理，执行时间长

4、•结果集存储–减少最终汇总表的update–尽可能使用insert操作运用postgresql—优化结果 •单台标配设备：–日活跃用户：300W+–日处理记录：6000W+运用postgresql—系统方案 •公有云：提供一站式的标准化统计分析–移动app数据收集–脏数据清洗–实时分析–实时统计–实时展现•私有云：提供高安全、高稳定的可定制方案–系统涉及各个模块都独立部署于客户自有服务器上–可根据客户个性化需求进行统计分析–可提供软硬件一体化方案•混合云：可提供与同行业指数横向对比–根据自身需求，共享非核心的一部分数据给公有云–公有云根据同行业相关指数的对

5、比结果，给出一份详细的建议报告