海关大容量数据处理及分布式的应用

《海关大容量数据处理及分布式的应用》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大容量数据处理及分布式的应用目前碰到的高并发应用，需要高性能需求的主要是两个方面  1。网络  2。数据库海关纪检考评系统中最需要解决的问题也是如此，其网络遍布全国，有些地方网络环境非常差，且系统所在的业务管理网现已有很多应用系统在运行，大量的数据处理必须会导致网络堵塞，因此，开发分布式，能适应大容量数据处理的系统势在必行。要解决这方面的问题，可以从以下方面着手：  1。充分接近单机的性能瓶颈，自我优化  2。单机不能胜任时(数据传输瓶颈；单位时间内磁盘读写/网络数据包的收发；cpu计算瓶颈)，把负荷分担给多台机器，用负载均衡方式解决。网络方面

2、单机的处理  1。底层包收发处理的模式变化(从select模式到epoll/kevent)  2。应用模式的变化        2.1 应用层包的构造方式        2.2应用协议的实现        2.3包的缓冲模式        2.4单线程到多线程网络负载均衡的几个办法  1。代理模式：代理服务器只管收发包，收到包以后转给后面的应用服务器群（服务器群后可能还会有一堆堆的数据库服务器等等），并且把返回的结果再返回给请求端  2。虚拟代理ip：代理服务器收发包还负载太高，那就增加多台代理服务器，都来管包的转发。这些代理服务器可以用统一的

3、虚拟ip，也可以单独的ip  3。p2p：一些广播的数据可以p2p的模式来减轻服务器的网络压力数据库单机的处理 1。数据库本身结构的设计优化（分表，分记录，目的在于保证每个表的记录数在可定的范围内） 2。sql语句的优化 3。master+slave模式数据库集群的处理 1。master+slave模式（可有效地处理并发查询） 2。cluster模式（可有效地处理并发数据变化）系统的结构如下：