系统应用服务器内存溢出解决报告

《系统应用服务器内存溢出解决报告》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、xxxx股份有限公司2010.9XXX系统应用服务器内存溢出解决报告10xxxx股份有限公司目录第一章问题现象与分析31.1、问题现象31.2、通常导致这种现象的原因31.3、xxx社保宕机现象对比分析4第二章解决方法路线图62.1jvm的调整62.2减少jvm内存使用72.2.1加快db访问速度，减少中间件并发业务量82.2.2限制sql返回结果集82.2.3减少业务会话中存放的对象82.3补救措施9第三章、解决结果与进一步建议93.1解决结果93.2进一步建议1010xxxx股份有限公司第一章问题现象与分析1.1、问题现象

2、XXX应用服务器经常有内存溢出、系统没有响应的现象，尤其在每月的月末最为明显。目前的应用服务器有三种类型，其中ibm和linux应用服务器报告频繁出现内存溢出或没有响应的现象，hpunix应用服务器相稳定。在出现问题期间Weblogic无法响应任何客户端请求，大量请求加载到了这台没有响应的Server上，最后只有杀掉并重启这台应用服务器。1.2、通常导致这种现象的原因WLSServer没响应可能的几种原因：1、繁重的I/O，呼叫DB时间过长导致中间件内存耗尽，server没有响应。2、程序死循环，loop－backs，这种情况

3、cpu很忙，系统没有响应。3、连接到外部server，没响应，由于网络等原因4、2个以上的执行者同步死锁5、业务量过大，全部线程都被占用，出现队列等待现象6、读写本地I/O，发生阻塞WLSServer宕机的原因：10xxxx股份有限公司ØOutOfMemoryØJNI程序Øjvm的bugØos的bug1.3、xxx社保宕机现象对比分析ü应用服务器没有响应分析通过初步判断，对于xxx应用服务器没有响应的情况可以做如下排出法解决：――程序死循环这种情况会导致cpu非常繁忙，而通过目前观察，每次系统没响应的时候，cpu没有一直100

4、%忙，另外，对出现问题时的javacore分析没有发现这类线程，因此可以基本排除这种可能，。――连接到外部server，没响应，由于网络等原因目前我们的业务基本都是直接通过中间件访问数据，没有通过应用服务器间调用或多数据库调用的，基本排除这种可能。――2个以上的执行者同步死锁这种情况有可能，但比较难找，一般都是业务高峰的时候才有可能出现，跟应用人员了解后得知我们很少使用同步方式实现对资源的共享。另外通过对javacore进行10xxxx股份有限公司分析，并未发现同步造成的死锁现象。――业务量过大，全部线程都被占用，出现队列等待

5、现象通过观察我们的业务量在高峰时确实很大，但由于我们配置的线程数都很高，尽管出现宕机时也没有达到配置的上线，所以这个方面可以被排除。――繁重的I/O，呼叫DB时间过长导致中间件内存耗尽由于我们经常有新业务变更，尤其近期还有居民医保业务上线，因此I/O问题导致的因素也需要重点考察！――读写本地I/O，发生阻塞，多线程耗尽jvm内存这种现象很可能发生，应重点给予关注ü对WLSSERVER宕机的几种情况的分析：――OufOfMemory目前xxx社保应用服务器出现宕机的时候基本都表现为这种现象，这也是中间件服务器最常见的现象。原因可

6、能有多种，可能是平台的，多数情况下是物理内存配置过低，或jvm参数配置过低造成的。但通过对xxx社保配置参数进行分析发现参数基本合理，除了线程数和连接池配置稍大点，其它都很正常。由此分析是估计是其它原因造成的。其它可能的原因可能是平台原因，比如jvm版本、垃圾回收方式和算法的缺陷等；也可能是应用造成的，比如业务并发量过大，内存不足造成，也可能是返回大结果集以及会话存放对象过多等原因。因此重点是找出可行的解决方案，避免出现内存溢出，10xxxx股份有限公司减少对jvm内存的使用量。――平台bug比如jni、jvm、os的bug等

7、。每个weblogic版本都有对应的平台Jni，用来增加系统性能，但有时表现出不稳定的现象。Jvm和os版本对WLSserver的稳定更是影响很大，通过以前的记录发现ibm和linux的应用服务器比hp出现的宕机频率更多些，因此有必要对ibm和linuxjvm做些分析和调整。第二章解决方法路线图通过前面分析把解决问题的路线图定位在三方面，一个是调整现有平台jvm版本和参数，尽量达到平台的稳定性；另外一个是考虑如何减少jvm内存的使用上，尤其要解决访问DB慢以及返回大结果集这两方面，以期通过增强访问速度减少并发量，减少返回结果对

8、内存的占用，从而使系统不发生或少发生OutOfMemory现象。另外，在意外出现宕机的情况下，通过负载均衡器的配置实现新请求直接发送给其它运行正常的服务器。2.1jvm的调整采用方法：Ø调整ibm应用服务器的jvm系统参数kcluster等，消除内存碎片。Ø调整linux应用