中间件在多路平台上的numa调优指南

《中间件在多路平台上的numa调优指南》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、中间件在多路平台上的NUMA调优指南文档更新记录文档编号:文档名:中间件在多路平台上的NUMA调优指南版本号0.1创建人:王雪倩创建日期:2016.9.18更新历史序号.更新日期更新人更新内容12016.9.18王雪倩第一版2345目录1.NUMA调优原理42.多路服务器的NUMA绑定优化方法42.1查看系统cpubind数52.2复制多份中间件，修改端口号52.3对中间件启动脚本进行numa绑定62.4配置负载均衡器62.5检查numa绑定状态73.性能提升案例71.NUMA调优原理在龙芯的多路服务器上，可能会出现这样一种现象：多路服务器的性能比单路服务器的性能提

2、升不明显。典型的是运行中间件这种多线程的并发应用。原因是多路服务器上是有多个CPU和多个物理内存条，普遍使用的SMP（对称多处理）模型，即操作系统将多个物理内存条作为一大块连续内存，所有CPU都能够访问到这个共享内存的所有单元。但是，由于处理器之间互联进行通讯时要有一定的开销，因此所有CPU到所有物理内存的访问速度是不同的，是NUMA（Non-UniformMemoryAccess）模型。以图1为例，一台机器有2个处理器（cpu0,cpu1），在每个处理器上接两个内存条（memory0.1,memory0.2,memory1.1,memory1.2），总共有4个内存

3、块。一个处理器和直接相连的两个内存条合起来，称为一个NUMAnode，这样这个机器就会有两个NUMAnode。在物理分布上，一个NUMAnode之内的处理器和内存块的物理距离更小，因此访问也更快。而如果跨node访问内存，则速度会变慢。在NUMAnode1中，cpu1访问memory1.1和memory1.2就比访问memory0.1和memory0.2更快。基于这一个原理，可以解释“多路服务器的性能比单路服务器的性能提升不明显”的问题。对于运行在多路服务器上的多线程应用程序，操作系统默认会随机分配物理内存，从而导致线程运行在CPU0上、而访问的数据位于CPU1所连

4、接的memory上，这样会导致应用程序运行速度下降。为了充分发挥多路服务器上应用程序的性能，可以利用操作系统提供的命令工具，对应用程序使用的CPU和物理内存进行绑定，保证本node内的CPU只访问本node内的内存块。本文档就介绍这样一种优化方法，在实施之后一般都能够使多路服务器上的中间件提升80%性能。CPU0CPU1SLOWFASTFASTFASTFASTmemory0.1memory1.2memory1.11memory0.2图1NUMA架构2.多路服务器的NUMA绑定优化方法比如一个OA系统在3B2000双路服务器上运行，进行压力测试时发现性能较低，不能满足

5、用户需求，那么接下来就需要进行多路服务器的NUMA绑定调优。以3B2000双路服务器为例，介绍具体实现方法。2.1查看系统cpubind数在终端中执行命令（以3B2000双路服务器为例）：#numactl--showpolicy:defaultpreferrednode:currentphyscpubind:01234567cpubind:01nodebind:01membind:01cpubind后面的数字说明机器是2路，意味着需要绑定2个中间件。如果是在3B2000四路上，则需要绑定4个中间件。2.2复制多份中间件，修改端口号首先要在一台服务器上复制2份中间件，

6、每一个中间件是一个独立的目录。为了能够在一台机器上启动两个中间件进程，两个中间件必须使用不同的网络端口号，因此需要修改第二份中间件的配置文件。端口号修改以“同一个IP地址上的端口号不冲突”为原则,具体端口号可以任意指定，但是需要在本机保证唯一、并且和第一份中间件相区别。以东方通中间件为例，配置文件中需要修改的端口号有3个（http、jmx和管理控制台端口）,具体需要修改的是config目录下的twns.xml文件：将端口号由8080改为8081；将端口号由7200改为7205；将

7、端口号由9060改为9061；2.3对中间件启动脚本进行numa绑定在两份中间件的bin/目录下，分别编写numa绑定的启动脚本。脚本中调用操作系统内置的numactl命令工具，加上适当参数，使每一个中间件只运行在一个CPU上，只访问该CPU节点内部的物理内存。numactl命令在中标操作系统服务器版中默认安装。第一份中间件启动脚本：#numactl--cpunodebind=0--membind=0./startserver.sh第二份中间件启动脚本：#numactl--cpunodebind=1--membind=1./startserver.sh分别执行上