(优化)参数总结

《(优化)参数总结》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、注：红色字体表示可优化参数！core-site.xml是全局配B,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。所有参数配置：core-default.html文件中1、hadoop.tmp.dir默认值：/tmp/hadoop-${user.name}临时目录设定。尽量手动配置这个选项，否则的话都默认存在了系统的默认临时文件/tmp里。并H手动配置的时候，如果服务器是多磁盘的，每个磁盘都设置一个临时文件口录，这样便于mapreduce或者hdfs等使用的时候

2、提高磁盘10效率。hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不女全的，因为linux一次重启，文件就可能被删除。怎么更改默认的hadoop.tmp.dir路径，并使其生效？1>编辑conf/core-site.xml,在里面加上如下属性:12hadoop.tmp.dirx/name>3/home/had/hadoop/data4

3、cription>Abaseforothertemporarydirectories.〈/description>5hadoop.tmp・dirv/name〉/home/zj/tmp目录不会被清牢就可以了。2>Hadoop.native」ib默认值：true使用本地hadoop库标识。3、Hadoop.http.filter.initializershttp服务器过滤链设置。4、Hadoop.securit

4、y.group.mapping默认值：org.apache.hadoop.security.ShellBasedUnixGroupsMapping组内用户的列表的类设定。5、Hadoop.security.authorization默认值：false服务端认证开启。6、Hadoop.security.authentication默认值：simple无认证或认证设置。7、hadoop.security.token.service.use_ip默认值:true是否开启使用IP地址作为连接的开关。8、hadoop.l

5、ogfile.size默认值：10000000日志文件最大为10Mo9、hadoopJogfile.count默认值：10日志文件数量为10个。10>io.file.buffe「size默认值：4096流文件的缓冲区为4K。SequenceFiles在读写中可以使用的缓存大小，流文件的缓冲区默认值为4K。。这个参数在新版本里变为了：file.stream・buffer・size,单位bytes。作为hadoop缓冲区，川于hadoop读hdfs的文件和写hdfs的文件，还有map的输出都川到了这个缓冲区容量，对

6、于现在的硬件很保守，可以设置为128k（131072）,S至是1M（太人了map和reduce任务可能会内存溢岀）。通过增人它的大小能够减少I/O次数以提高性能。如果系统允许，64KB（65536字节）至128KB（131072字节）是较普遍的选择。vproperty>io.file.buffer.sizev/name〉131072（部署注意：namenode磁盘:sas帶RAID,多磁盘存储文件系统元信息.datanode配置：不带RAID,双网

7、卡：一个用于内部数据传输，一个用于外部数据传输.hadoop各节点的分布:namenode和jobtracker部署:namenode与jobtracker分离.tasktracker与datanode配对.Trash:hadoop回收站功能默认是禁止的，删除文件，就是直接删除了，所以要记得配置好trashotrash功能还是不错的,当rm后,它会move到当前文件夹下的.Trashg录下,误删文件后，可以到对应的.Trash目录下恢复文件，参考配置属性fs.trash.intervalo备份:namendoe

8、的元数据切记做好多处备份，包括热备和冷备，否则元数据一丢，整个集群的数据都无法恢复了。热备:namenode的元数据配置写两份，一-分写木地，另一份写远程nfs。冷备:定时拷贝namenode的元数据到远程的nfs,保留十天其至更长。Datanode的数据目录:如果datanode对应的机器上有多块磁盘,例如/disk1-/disk3,dfs.data.dir可以配置为”/diskl/