高性能服务器网络可伸缩性.doc

《高性能服务器网络可伸缩性.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、专业.专注高性能服务器网络可伸缩性高性能可伸缩服务器的大量使用增加了网络和系统性能的复杂性。在本文中，学习如何对多节点高性能Linux®系统进行优化（使用系统板载千兆以太网适配器，有1到4个节点）。了解可能导致问题的网络可伸缩性场景以及避免问题的方法。有许多资料讨论了网络性能、优化和调优，涉及各种硬件、平台和操作系统以及各种工作负载。但是，高性能可伸缩服务器（比如IBM®eServer™xSeries®x460和IBMSystemx™3950）的大量使用毕竟增加了网络和系统性能的复杂性。例如，对于可以通过添加完整的机架

2、（或节点）来增加容量的可伸缩服务器，提高跨多节点系统的网络可伸缩性对总体系统性能非常重要。系统配置测试用系统（SUT）是一个4节点的IBMeServerxSeries460，运行SUSELinuxEnterpriseServer10forAMD64andEM64T（x86-64）。每个节点的配置如下：·系统：IBMeServerxSeries460·CPU：4个64位Intel®Xeon®处理器70403.0GHz·内存：32GB（4个内存卡上各有8个1GBDIMM）·以太网适配器：Broadcom570410/100

3、/1000dualEthernet/onsystemboard/64-bit266MHzPCI-X2.0·网络驱动程序：tg3c3.49·网络类型：千兆以太网·线程化：超线程技术所有测试场景都使用IBMSystemp5™550系统，每个系统有两个IntelDual-Port以太网适配器，运行RedHatEnterpriseLinux4Update4。4节点的绑定（bond）测试还包含一个2节点的IBMeServerxSeries460，运行SUSELinux学习参考专业.专注EnterpriseServer10forA

4、MD64andEM64T（x86-64）。SUT和驱动程序通过一个CiscoCatalyst3750G-24TS交换机网络。回页首测试方法由于多种原因，我选用netperf基准（具体地说，是单向流测试TCP_STREAM）测试可伸缩性演示工作负载，原因包括它的简单性、可度量性、在Linux上的稳定性、广泛的应用以及能够精确地度量批量数据传输性能。它是一个基本的客户机-服务器模型基准，包含两个对应的可执行文件netperf和netserver。简单的TCP_STREAM测试从netperf系统到netserver系统的数

5、据传输时间，以此度量一个系统发送数据和另一个系统接收数据的速度。在执行时，netperf建立一个到远程系统的控制连接（通过TCP）。这个连接用来在系统之间传递配置信息和结果。使用另一个连接执行度量，在此期间保留控制会话但是没有通信流（除非某些TCP选项需要通信）。在这里描述的所有测试中，当IBMeServerxSeries460执行网络发送（netperf）、网络接收（netserver）或同时执行这两种操作（双向）时，都度量网络吞吐量和CPU利用率。在客户机发送端记录客户机和服务器之间的吞吐量，并由netperf基准

6、报告记录的数据。每个环境的完整测试对于从64字节到256KB的15种消息大小分别执行3分钟的流测试。这个范围包含1460和1480字节的消息大小，所以在Linux将消息分割为小数据包发送到网络之后，总的数据包大小接近默认的最大传输单位（MTU）1500。在SUT上度量CPU利用率并由sysstat包中的sar实用程序报告，这一信息表示为netperf测试期间的系统平均值。所有CPU和中断信息也来自sar数据。学习参考专业.专注在可伸缩性演示中，修改了配置和参数来影响行为。以各种组合启用和禁用它们将导致不同的结果。通过设

7、置SMPIRQ亲合位掩码/proc/irq/nnn/smp_affinity，可以指定允许哪些CPU处理特定的中断。Linux在初始化期间将它们设置为默认值。可以启动守护进程irqbalance，在处理器之间动态地分发硬件中断。如果启用这个守护进程，它会反复修改smp_affinity位掩码来执行分发。可以使用numactl程序将特定的进程绑定到特定节点上的CPU和/或内存。Linux网络绑定提供多种将多个网络接口合并为一个逻辑接口的方法，对于多节点服务器，这是一个有吸引力的网络管理特性。回页首性能和可伸缩性结果我们来

8、看看以下配置的结果：1.开箱即用：不修改软件配置2.开箱即用加上numactl：与前一个配置相同，但是使用numactl将SUT上的netperf和/或netserver应用程序绑定到适当节点上的CPU和内存3.以太网SMPIRQ亲合：与第一个配置相同，但是将每个以太网适配器的中断处理绑定到适配器所在的节点上的一个CPU（不使用i