资源描述：
《GPFS配置手册【可编辑范本】》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
江西省农信社GPFS安装手册V1.0目录1.江西省农信社GPFS规划21。1江西省农信社GPFS集群规划21.2集群Quorum方式31。3NSD磁盘组成31。4文件系统基本信息31.5GPFS系统环境示意图52.GPFS安装前准备52。1安装介质及补丁准备52.2Openssl及Openssh62.3Linux节点安装ksh62.4Linux节点修改网络参数63.GPFS安装配置73.1配置ssh信任关系73。2AIX安装GPFS软件103.3Linux安装GPFS软件113。4GPFS集群配置124。GPFS日常维护194。1GPFS启动194。2GPFS停止194。3查看GPFS使用状况20
11.江西省农信社GPFS规划1.1江西省农信社GPFS集群规划IP地址节点名操作系统集群角色10。0.147。98gpfs98。abs.jxnxs.comAIX7100—02—02-1316Quorum—manager10。0.147.97gpfs97。abs.jxnxs.comAIX7100—02—02—1316Quorum-manager10。0。147。49gpfs49.abs。jxnxs。comRedhat6。4forPowerclient10.0.147.50gpfs50。abs。jxnxs.comRedhat6.4forPowerclient10。0。147.51gpfs51.abs.jxnxs.comRedhat6.4forPowerclient10。0.147.52gpfs52。abs.jxnxs。comRedhat6。4forPowerclient10.0.147.53gpfs53.abs。jxnxs.comRedhat6.4forPowerclient10。0。147.54gpfs54。abs.jxnxs.comRedhat6.4forPowerclient10.0。147.55gpfs55。abs.jxnxs.comRedhat6。4forPowerclient10.0。147。56gpfs56.abs.jxnxs。comRedhat6。4forPowerclient10.0。147.57gpfs57.abs。jxnxs.comRedhat6.4forPowerclient10.0。147。58gpfs58.abs。jxnxs.comRedhat6.4forPowerclient10。0。147。59gpfs59.abs.jxnxs。comRedhat6。4forPowerclient10。0.147。60gpfs60。abs.jxnxs。comRedhat6。4forPowerclient10.0.147.61gpfs61.abs.jxnxs。comRedhat6。4forPowerclient10.0.147.62gpfs62.abs。jxnxs。comRedhat6。4forPowerclient10。0。147.63gpfs63.abs。jxnxs.comRedhat6.4forPowerclient10.0。147.64gpfs64。abs。jxnxs.comRedhat6。4forPowerclient10.0.147.65gpfs65。abs。jxnxs.comRedhat6。4forPowerclient10.0.147。66gpfs66。abs。jxnxs.comRedhat6。4forPowerclient10.0.147.67gpfs67.abs.jxnxs.comRedhat6。4forPowerclient10.0。147。68gpfs68.abs.jxnxs。comRedhat6.4forPowerclient10。0.147.69gpfs69。abs.jxnxs。comRedhat6。4forPowerclient10.0。147。70gpfs70.abs.jxnxs。comRedhat6。4forPowerclient10。0。147.71gpfs71.abs。jxnxs。comRedhat6.4forPowerclient10。0。147.72gpfs72.abs。jxnxs。comRedhat6.4forPowerclient10.0.147.73gpfs73。abs.jxnxs。comRedhat6.4forPowerclient10。0.147。74gpfs74.abs。jxnxs.comRedhat6。4forPowerclient10.0。147.75gpfs75。abs.jxnxs。comRedhat6。4forPowerclient10.0。147。76gpfs76。abs。jxnxs。comRedhat6.4forPowerclient10。0。147.77gpfs77。abs。jxnxs.comRedhat6.4forPowerclient10。0。147。78gpfs78.abs.jxnxs。comRedhat6.4forPowerclient10.0。147.79gpfs79.abs.jxnxs。comRedhat6.4forPowerclient
210.0.147.80gpfs80.abs.jxnxs.comRedhat6。4forPowerclient10。0。147。81gpfs81.abs。jxnxs。comRedhat6.4forPowerclient10。0。147。82gpfs82.abs。jxnxs.comRedhat6.4forPowerclient10.0。147.83gpfs83。abs.jxnxs。comRedhat6。4forPowerclient10。0.147。84gpfs84.abs.jxnxs。comRedhat6.4forPowerclient10.0。147。85gpfs85.abs。jxnxs.comRedhat6.4forPowerclient10.0。147.86gpfs86。abs。jxnxs.comRedhat6。4forPowerclient10。0。147.87gpfs87.abs。jxnxs.comRedhat6。4forPowerclient10。0。147。88gpfs88。abs.jxnxs.comRedhat6.4forPowerclient10.0。147。89gpfs89。abs。jxnxs。comRedhat6。4forPowerclient10。0。147。90gpfs90。abs.jxnxs.comRedhat6。4forPowerclient10.0.147。91gpfs91.abs.jxnxs。comRedhat6。4forPowerclient10.0。147.92gpfs92。abs。jxnxs。comRedhat6.4forPowerclient10.0。147。93gpfs93.abs。jxnxs。comRedhat6.4forPowerclient10。0。147。94gpfs94。abs.jxnxs.comRedhat6.4forPowerclient10.0.147.95gpfs95。abs.jxnxs.comRedhat6.4forPowerclient10.0.147.96gpfs96。abs.jxnxs.comRedhat6。4forPowerclient1.1集群Quorum方式集群Quorum方式采用NodeQuorum+Tiebreakerdisks,两个AIX节点加上一块专用的SAN磁盘,目前只有一个AIX节点,第二个AIX节点和SAN磁盘需要后续添加。1.2NSD磁盘组成PV_NAMESIZENSD_NAMEFS_NAMENSDSERVERSLISThdisk2500Gbjxrccb_nsd1gpfsgpfs98.abs.jxnxs。comhdisk3500Gbjxrccb_nsd2gpfsgpfs98.abs。jxnxs.com
31.1文件系统基本信息
41.1GPFS系统环境示意图GPFSServer:2个AIX分区连接V7000SANStorage：SVCGPFSClient:48个PowerLinux分区GPFS管理网络:千兆交换机2.GPFS安装前准备2.1安装介质及补丁准备安装包：GPFSv3.5。0。0
5补丁：GPFS—3.5.0。111.1Openssl及Openssh确认AIX上openssl及openssh是否已安装，Linux默认已经安装;lslpp—l|grepopen1.2Linux节点安装ksh#rpm-ivhksh-20100621—19.el6。ppc64.rpm1.3Linux节点修改网络参数修改/etc/sysctl.conf文件,需修改的网络参数如下:#increaseLinuxTCPbufferlimitsnet.core.rmem_max=8388608net.core.wmem_max=8388608#increasedefaultandmaximumLinuxTCPbuffersizesnet.ipv4.tcp_rmem=40962621448388608net.ipv4.tcp_wmem=40962621448388608#increasemaxbacklogtoavoiddroppedpacketsnet.core.netdev_max_backlog=2500
6修改完毕后执行sysctl—p/etc/sysctl.conf让配置生效1.GPFS安装配置1.1配置ssh信任关系n在节点gpfs98.abs。jxnxs.com上生成并配置ssh密钥对＃ssh—keygen-trsa
7＃cd。ssh#lsid_rsaid_rsa。pub#catid_rsa。pub>authorized_keys＃chmod600authorized_keys#echo"StrictHostKeyCheckingno"〉config#chmod600config
8n修改各节点的/etc/hosts文件，加入对集群中各节点的别名和ip地址10.0.147.49gpfs49.abs.jxnxs.com10.0.147.50gpfs50.abs.jxnxs.com10.0.147.51gpfs51.abs.jxnxs.com10.0.147.52gpfs52.abs.jxnxs.com10.0.147.53gpfs53.abs.jxnxs.com10.0.147.54gpfs54.abs.jxnxs.com10.0.147.55gpfs55.abs.jxnxs.com10.0.147.56gpfs56.abs.jxnxs.com10.0.147.57gpfs57.abs.jxnxs.com10.0.147.58gpfs58.abs.jxnxs.com10.0.147.59gpfs59.abs.jxnxs.com10.0.147.60gpfs60.abs.jxnxs.com10.0.147.61gpfs61.abs.jxnxs.com10.0.147.62gpfs62.abs.jxnxs.com10.0.147.63gpfs63.abs.jxnxs.com10.0.147.64gpfs64.abs.jxnxs.com10.0.147.65gpfs65.abs.jxnxs.com10.0.147.66gpfs66.abs.jxnxs.com10.0.147.67gpfs67.abs.jxnxs.com10.0.147.68gpfs68.abs.jxnxs.com10.0.147.69gpfs69.abs.jxnxs.com10.0.147.70gpfs70.abs.jxnxs.com10.0.147.71gpfs71.abs.jxnxs.com10.0.147.72gpfs72.abs.jxnxs.com10.0.147.73gpfs73.abs.jxnxs.com10.0.147.74gpfs74.abs.jxnxs.com10.0.147.75gpfs75.abs.jxnxs.com10.0.147.76gpfs76.abs.jxnxs.com10.0.147.77gpfs77.abs.jxnxs.com10.0.147.78gpfs78.abs.jxnxs.com10.0.147.79gpfs79.abs.jxnxs.com10.0.147.80gpfs80.abs.jxnxs.com10.0.147.81gpfs81.abs.jxnxs.com10.0.147.82gpfs82.abs.jxnxs.com10.0.147.83gpfs83.abs.jxnxs.com10.0.147.84gpfs84.abs.jxnxs.com10.0.147.85gpfs85.abs.jxnxs.com10.0.147.86gpfs86.abs.jxnxs.com10.0.147.87gpfs87.abs.jxnxs.com10.0.147.88gpfs88.abs.jxnxs.com10.0.147.89gpfs89.abs.jxnxs.com10.0.147.90gpfs90.abs.jxnxs.com10.0.147.91gpfs91.abs.jxnxs.com10.0.147.92gpfs92.abs.jxnxs.com10.0.147.93gpfs93.abs.jxnxs.com10.0.147.94gpfs94.abs.jxnxs.com10.0.147.95gpfs95.abs.jxnxs.com10.0.147.96gpfs96.abs.jxnxs.com10.0.147.97gpfs97.abs.jxnxs.com10.0.147.98gpfs98.abs.jxnxs.comn验证本机无需密码的ssh登录#ssh`hostname`n将。ssh目录复制到其他各节点＃scp-r/。sshgpfs49。abs.jxnxs.com:/root/＃scp-r/。sshgpfs50。abs.jxnxs。com:/root/#scp—r/.sshgpfs51。abs。jxnxs。com:/root/…＃scp—r/.sshgpfs96.abs.jxnxs.com:/root/
9验证各节点间无密码的ssh登录1.1AIX安装GPFS软件1）gpfs3.5.0安装包放在/home/gpfsaix/iso目录下2）切换/home/gpfsaix/iso目录下,通过smittyinstallp安装GPFS软件3)安装补丁gpfs3.5版本,需要升级到3.5.0.11以上，补丁下载地址:http：//www—933.ibm。com/support/fixcentral/swg/selectFixes?parent=Cluster+software＆product=ibm/power/IBM+General+Parallel+File+System＆release=3。5.0＆platform=AIX＆function=all下载后上传到服务器后解压:gzip—d-cfilename.tar.gz｜tar—xvf—使用smittyupdate_all安装补丁4）安装后检查
10＃lslpp—l｜grepgpfs如果之前已经创建了cluster，在所有node都down的状态下，加载GPFS版本到最新版本：mmchconfigrelease=LATEST；如果是新装的GPFS，则可以忽略此步。1.1Linux安装GPFS软件1)上传安装介质安装文件位于/home/gpfsrpm/，补丁文件位于/home/gpfsrpm/updte；2)安装GPFS软件在安装介质所在目录下执行：#rpm-ivhgpfs*.rpm3)升级GPFS软件版本在补丁文件所在目录下执行：＃rpm—Uvhgpfs＊.rpm4)检查安装结果#rpm—qa｜grepgpfs5)BuildingtheGPFSportabilitylayer#cd/usr/lpp/mmfs/src＃makeAutoconfig#makeWorld#makeInstallImages
111.1GPFS集群配置n修改系统环境变量AIX平台下修改/etc/environment在PATH后增加/usr/lpp/mmfs/bin＃vi/etc/environmentLinux平台下修改/root/。bashprofile，在PATH后增加/usr/lpp/mmfs/binn创建集群按照规划,本次集群中包含1个AIX节点和48个Linuxclient；首先在1个AIX节点平台创建GPFS集群创建集群定义文件＃cd/home＃mkdirgpfs#cdgpfs＃vijxrcc_cluster10。0.147.98：quorum-manager
12a)创建GPFS集群#mmcrcluster–Njxrccb_cluster–p10。0。147。98—r/usr/bin/ssh-R/usr/bin/scp—Cjxrccb_cluster–A#mmcrcluster-Njxrccb_cluster-p10.0.147.98-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster-AWarning:Permanentlyadded'gpfs98.abs.jxnxs.com'(RSA)tothelistofknownhosts.TueNov1920:01:38CST2013:6027-1664mmcrcluster:Processingnodegpfs98.abs.jxnxs.commmcrcluster:Commandsuccessfullycompletedmmcrcluster:6027-1254Warning:NotallnodeshaveproperGPFSlicensedesignations.Usethemmchlicensecommandtodesignatelicensesasneeded.b)配置许可#mmchlicenseserver-—accept-N10.0。147.98#mmchlicenseserver--accept-N10.0.147.98ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:gpfs98.abs.jxnxs.commmchlicense:Commandsuccessfullycompletedc)添加Linux节点通过如下命令依次添加48个Linux节点：＃mmaddnode–Ngpfs149.abs.jxnxs。com＃mmchlicenseserver-—accept-Ngpfs149.abs。jxnxs。com…#mmaddnode–Ngpfs196。abs.jxnxs.com#mmchlicenseserver——accept-Ngpfs196。abs.jxnxs.com查看集群状态#mmlscluster
13
14a)修改集群参数＃mmchconfigprefetchThreads=1000–N10.0。147.98＃mmchconfigpagepool=4G–N10。0.147.98#mmchconfigfailureDetectionTime=15#mmchconfigMaxMBps=4096b)启动集群＃mmstartup-a启动后，查看集群状态#mmgetstate-a确保所有节点的状态为Active
15
16n创建NSD磁盘a)修改fscsi参数在所有直接访问SAN盘的节点上执行#lsdev｜grepfscsi｜awk'｛print”chdev-l”,$1，”-adyntrk=yes—afc_err_recov=fast_fail"}’|shb)识别外置存储磁盘在所有直接访问SAN盘的节点上执行＃cfgmgrc)修改hdisk参数在所有直接访问SAN盘的节点上执行#lsdev-Ccdisk|grepMPIO|awk’{print"chdev—l”，＄1,"-aalgorithm=round_robin-aqueue_depth=8-areserve_policy=no_reserve”}'|shd)创建NSD描述文件＃cd/gpfs#vinsd.confhdisk2：10.0。147。98:：：：jxrccb_nsd1：hdisk3：10.0.147。98:：::jxrccb_nsd2:备注文件格式:DiskName：ServerList::DiskUsage:FailureGroup：DesiredName:StoragePool在本集群中，将AIX节点定义为NSDServer，如果NSD较多可以将每块盘的首选NSDServer设置为不同，以均衡NSDSever的负载；e)生成NSD盘#mmcrnsd-Fnsd.conff)查看NSD盘#mmlsnsd#mmlsnsdFilesystemDisknameNSDservers---------------------------------------------------------------------------(freedisk)jxrccb_nsd1gpfs98.abs.jxnxs.com(freedisk)jxrccb_nsd2gpfs98.abs.jxnxs.comn定义Tiebreakerdisks集群处于Down状态时才能定义；＃mmshutdown—a#mmchconfigtiebreakerDisks="”定义后可用如下命令查看;#mmlsconfig
17n创建GPFS文件系统#mmcrfsgpfs-Fnsd。conf-Ayes-B512K—T/gpfs#mmcrfsgpfs-Fnsd.conf-Ayes-B512K-T/gpfsGPFS:6027-531ThefollowingdisksofgpfswillbeformattedonnodeABSGPFS1:jxrccb_nsd1:size536870912KBjxrccb_nsd2:size536870912KBGPFS:6027-540Formattingfilesystem...GPFS:6027-535Disksuptosize4.4TBcanbeaddedtostoragepoolsystem.CreatingInodeFileCreatingAllocationMapsCreatingLogFilesClearingInodeAllocationMapClearingBlockAllocationMapFormattingAllocationMapforstoragepoolsystemGPFS:6027-572Completedcreationoffilesystem/dev/gpfs.mmcrfs:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.通过mmlsconfig或mmlsfsall命令可以看到所创建的文件系统＃mmlsconfig挂载集群文件系统#mmmountall-a挂载后查看集群文件系统的mount状态＃mmlsmountallFilesystemgpfsismountedon49nodes.修改文件系统inode最大值＃mmchfsgpfs--inode—limit13568000修改挂载文件系统的最大节点数#mmchfsgpfs–n=128查看文件系统的属性
18#mmlsfsallGPFS文件系统支持的最大inode数,可根据如下公式进行计算：maximumnumberoffiles=（totalfilesystemspace）/（inodesize+subblocksize）备注：subblocksize是创建文件系统时所指定Blocksize的1/32;例如：按文件系统400G，inodesize为512bytes，Blocksize为512k来计算maximumnumberoffiles=（600*1024*1024＊1024）/（512+524288/32）=381300361.GPFS日常维护1.1GPFS启动Ø启动所有的节点:mmstartup–aØ启动单个节点：例如启动gpfs98.abs.jxnxs.com节点mmstartup–Ngpfs98.abs.jxnxs.com1.2GPFS停止GPFS停止步骤：umount挂载的FSà停止所有的nodeØumount挂载的FS：umount所有节点mmumount–aumount某一个节点：
19mmumountfsname–Ngpfswas2Ø停止所有的节点：mmshutdown–a停止某一个节点：mmshutdown–Ngpfswas21.1查看GPFS使用状况mmdfgpfs
