YARN & HDFS2 安装和配置Kerberos

今天尝试在Hadoop 2.x开发集群上配置Kerberos，遇到一些问题，记录一下

设置hadoop security

core-site.xml

<property>
   <name>hadoop.security.authentication</name>
   <value>kerberos</value>
</property>
<property>
   <name>hadoop.security.authorization</name>
   <value>true</value>
</property>

hadoop.security.authentication默认是simple方式，也就是基于linux操作系统的验证方式，用户端调用whoami命令，然后RPC call给服务端，恶意用户很容易在其他host伪造一个相同的用户。这里我们改为kerberos。

设置hdfs security

hdfs-site.xml

<property>
        <name>dfs.block.access.token.enable</name>
        <value>true</value>
</property>
<property>
        <name>dfs.https.enable</name>
        <value>false</value>
</property>
<property>
        <name>dfs.namenode.https-address</name>
        <value>dev80.hadoop:50470</value>
</property>
<property>
        <name>dfs.https.port</name>
        <value>50470</value>
</property>
<property>
        <name>dfs.namenode.keytab.file</name>
        <value>/etc/hadoop.keytab</value>
</property>
<property>
        <name>dfs.namenode.kerberos.principal</name>
        <value>hadoop/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.namenode.kerberos.https.principal</name>
        <value>host/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>dev80.hadoop:50090</value>
</property>
<property>
        <name>dfs.namenode.secondary.https-port</name>
        <value>50470</value>
</property>
<property>
        <name>dfs.namenode.secondary.keytab.file</name>
        <value>/etc/hadoop.keytab</value>
</property>
<property>
        <name>dfs.namenode.secondary.kerberos.principal</name>
        <value>hadoop/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.namenode.secondary.kerberos.https.principal</name>
        <value>host/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
</property>
<property>
        <name>dfs.datanode.address</name>
        <value>0.0.0.0:1003</value>
</property>
<property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:1007</value>
</property>
<property>
        <name>dfs.datanode.https.address</name>
        <value>0.0.0.0:1005</value>
</property>
<property>
        <name>dfs.datanode.keytab.file</name>
        <value>/etc/hadoop.keytab</value>
</property>
<property>
        <name>dfs.datanode.kerberos.principal</name>
        <value>hadoop/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.datanode.kerberos.https.principal</name>
        <value>host/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
</property>
<property>
        <name>dfs.datanode.address</name>
        <value>0.0.0.0:1003</value>
</property>
<property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:1007</value>
</property>
<property>
        <name>dfs.datanode.https.address</name>
        <value>0.0.0.0:1005</value>
</property>
<property>
        <name>dfs.datanode.keytab.file</name>
        <value>/etc/hadoop.keytab</value>
</property>
<property>
        <name>dfs.datanode.kerberos.principal</name>
        <value>hadoop/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.datanode.kerberos.https.principal</name>
        <value>host/_HOST@DIANPING.COM</value>
</property>
<property>
        <name>dfs.web.authentication.kerberos.principal</name>
        <value>HTTP/_HOST@DIANPING.COM</value>
</property>
<property>
      <name>dfs.web.authentication.kerberos.keytab</name>
      <value>/etc/hadoop.keytab</value>
      <description>
                    The Kerberos keytab file with the credentials for the
                          HTTP Kerberos principal used by Hadoop-Auth in the HTTP endpoint.
      </description>
</property>

配置中有几点要注意的1. dfs.datanode.address表示data transceiver RPC server所绑定的hostname或IP地址，如果开启security，端口号必须小于1024(privileged port)，否则的话启动datanode时候会报“Cannot start secure cluster without privileged resources”错误

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索hadoop
， namenode
， dfs
， kerberos
， address
， dfs蓝桥杯图数据结构
， hadoop2.x
， yarn安装配置
， yarn安装
， datanode
， kerberos安装
kerberos使用
，以便于您获取更多的相关知识。