cdh5.1.0 yum安装说明

接触过hadoop的人都知道hadoop的搭建过程非常麻烦，尤其是对于初学者，幸运的是有cloudera这样的公司为我们做了一些发行版，我们可以直接使用apt-get，yum等包管理工具进行安装。
下面我要说得是，在centos6.5 64位下，通过yum安装cdh5.1.0，需要注意的是5.1.0默认是mapred2（也就是yarn模式），我这里安装的是mapred1。也就是传统的hadoop模式。

1.系统要求

先看看cloudera官方说明，最好是按照人家说得版本来，毕竟人家测试过了，没问题呀，你要是非用不支持的版本，注定是一场折腾之路。

这里我重点说下/etc/hosts的配置，在namenode与jobtracker所在的机器上，一定不要有

127.0.0.0 <hostname>

这条记录，并且要把所有子结点的ip与hostname配进去。
否则你会遇到各种错误，下面是一个错误：

2015-02-05 12:35:30,145 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl: Time to add replicas to map for block pool BP-2009649341-10.6.8.213-1423108250285 on volume /data/dfs/dn/current: 1ms
2015-02-05 12:35:30,145 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl: Total time to add all replicas to map: 6ms
2015-02-05 12:35:30,148 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-2009649341-10.6.8.213-1423108250285 (Datanode Uuid null) service to /10.6.8.213:8020 beginning handshake with NN
2015-02-05 12:35:33,219 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-2009649341-10.6.8.213-1423108250285 (Datanode Uuid null) service to /10.6.8.213:8020 Datanode denied communication with namenode because hostname cannot be resolved (ip=10.6.3.175, hostname=10.6.3.175): DatanodeRegistration(0.0.0.0, datanodeUuid=177b02e8-6692-4c69-8e4d-d0d14566ce72, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-dcde3b04-134d-42c2-ac61-143ef3869377;nsid=1437835541;c=0)
        at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:802)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:4314)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:980)
        at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:92)
        at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:28057)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1986)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1982)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1554)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1980)

这个错误，是在启动namenode后，启动datanode时的错误，从错误信息来看，这时在datanode向namenode注册时的错。

2.配置源

在/etc/yum.repo.d中创建一个repo文件，内容为

[cloudera-cdh5]
name=Cloudera's Distribution for Hadoop, Version 5
baseurl= http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.1.0/
gpgkey = http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 0

配置源后，执行下

yum clean all

3.下载hadoop组件

hadoop2.0把各个模块都给分出来了。hdfs、mapred、yarn、client都是作为独立的模块的，可以单独安装。

yum -y install hadoop-hdfs-namenode
yum -y install hadoop-0.20-mapreduce-jobtracker
yum -y install hadoop-hdfs-datanode
yum -y install hadoop-0.20-mapreduce-tasktracker

大家可以根据机器的角色，安装不同的组件。
在客户端执行hadoop任务时，需要安装

yum install hadoop-client

4. 修改配置文件

通过yum安装，配置文件默认在/etc/hadoop/conf文件夹中。需要修改下面三个配置文件：
core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
</property>

hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/dfs/nn</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/dfs/dn</value>
</property>

mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>master:8021</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/data/mapred/local</value>
</property>

通过yum安装，conf文件夹中默认没有hadoop-env.sh这个文件，我们可以从其他地方拷过来，在/usr/lib/hadoop-0.20-mapreduce/example-confs/conf.secure/hadoop-env.sh有个参考配置，我们可以把它拷贝过来，并且开头添加下下面的配置：

export JAVA_HOME=/usr/java/default
export HADOOP_MAPRED_HOME=/usr/lib/hadoop-0.20-mapreduce

/usr/java/default是我机器上java的安装目录，你们可根据实际情况进行修改。

5.创建hdfs、mapred所需文件夹

在上面的配置中，hdfs-site.xml中制定了namenode与datanode的存放数据的目录，下面进行创建

mkdir -p /data/dfs/nn /data/dfs/dn
chown hdfs:hdfs /data/dfs/nn /data/dfs/dn

mapred-site.xml中指定了执行任务时临时数据的存放目录，下面进行创建

mkdir -p /data/mapred/local
chown mapred:mapred /data/mapred/local

这里需要说明的是，在hadoop2.0中，不再推荐用一个hadoop账户来启动所有进程，推荐使用hdfs用户操作hdfs相关进程，mapred用户操作mapred相关进程，yarn用户操作yarn相关进程，在我们用yum安装各个组件时，相应的用户会替我们自动创建。

6.启动进程

首先时在主结点启动namenode

sudo -u hdfs hdfs namenode -format
service hadoop-hdfs-namenode start

之后，在子结点启动datanode

service hadoop-hdfs-datanode start

这样，hdfs就能工作了。下面创建mapred在hdfs上所需的目录

sudo -u hdfs hdfs dfs -mkdir /tmp
sudo -u hdfs hdfs dfs -chmod -R 1777 /tmp

这时，就可以在主结点上启动jobtracker了

service hadoop-0.20-mapreduce-jobtracker start

启动jobtracker后，会在hdfs的tmp下生成如下结构的目录：

最后，在子结点上启动tasktracker就可以了。

service hadoop-0.20-mapreduce-tasktracker start
时间： 2024-03-16 00:08:47

cdh5.1.0 yum安装说明的相关文章

CDH5.5.0离线安装，配置spark出错

问题描述 安装CDH5.5.0最后spark部署客户端配置出错了.导致无法继续安装求高人解答 解决方案 解决方案二:你的问题解决了吗?我也是用hadoopcdh5.5.0做的,spark有问题

CentOS 7.0 yum安装Apache + PHP + MySQL教程

1. 安装Apache, PHP, MySQL以及php连接mysql库组件. yum -y install httpd php mysql mysql-server php-mysql  2. 安装apache扩展 yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql  3. 安装php的扩展 yum -y install php-gd php-xml php-mbstring php-ldap php-pear php-xml

yum安装CDH5.5 hive、impala的过程详解_Linux

一.安装hive 组件安排如下: 172.16.57.75 bd-ops-test-75 mysql-server 172.16.57.77 bd-ops-test-77 Hiveserver2 HiveMetaStore 1.安装hive 在77上安装hive: # yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y 在其他节点上可以安装客户端: # yum install hive hive-server2

CentOS 7.0下使用yum安装mysql的方法详解_Mysql

CentOS7默认数据库是mariadb,配置等用着不习惯,因此决定改成mysql,但是CentOS7的yum源中默认好像是没有mysql的.为了解决这个问题,我们要先下载mysql的repo源. 1.下载mysql的repo源 $ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 2.安装mysql-community-release-el7-5.noarch.rpm包 $ sudo rpm -ivh mys

Centos下Yum安装PHP5.5,5.6,7.0

默认的版本太低了,手动安装有一些麻烦,想采用Yum安装的可以使用下面的方案: 1.检查当前安装的PHP包 yum list installed | grep php 如果有安装的PHP包,先删除他们  yum remove php.x86_64 php-cli.x86_64 php-common.x86_64 php-gd.x86_64 php-ldap.x86_64 php-mbstring.x86_64 php-mcrypt.x86_64 php-mysql.x86_64 php-pdo.x

centos 6.0下安装LAMP

说明:在本帖中,#代表shell的提示符,所有操作均在root环境变量下面执行 一,系统的安装 系统安装的是centos6.0版本,磁盘大小300G /boot         300M /swap         2G /             30G /usr/local    80G /var          80G   //lvm分区 /home         20G /tmp          10G 安装好之后,配置ip地址,ssh,iptables等服务,安装系统的原则:最小

CentOS 6.2下如何使用YUM安装MySQL

用yum安装MySql 打入如下命令: [root@mysql ~]# yum -y install mysql-server      //自动从网上搜索资源并自动下载安装 [root@mysql ~]# chkconfig mysqld on    //设置开机启动MySql服务 检查是否为开机启动 打入命令:[root@mysql ~]# chkconfig –list 看到:mysqld          0:off   1:off   2:on    3:on    4:on    5

在 RHEL/CentOS 7.0 中安装 LAMP

跳过 LAMP 的介绍,因为我认为你们大多数已经知道了.这个教程会集中在如何在升级到 Apache 2.4 的 Red Hat Enterprise Linux 7.0 和 CentOS 7.0 中安装和配置 LAMP:Linux.Apache. MariaDB. PHP/PhpMyAdmin. 在 RHEL/CentOS 7.0 中安装 LAMP 前置要求 根据使用的发行版是 RHEL 还是 CentOS 7.0,按照下面的链接来进行最小化的系统安装,网络使用静态 IP. 对于 RHEL 7.

在CentOS上使用yum安装MySQL+安全优化

0.说明         使用yum安装的好处是,你不用自己去解决软件之间的依赖问题,基本上yum执行完成,也就把软件安装好了,下面介绍使用yum的方法来安装MySQL,同时也会介绍安装完成后的安全优化.         注意:下面的操作都是以新安装的CentOS  6.5来作为演示的. 1.使用yum安装MySQL          查看是否已经安装MySQL: 1 [root@leaf]# yum list installed | grep mysql         如果你在安装CentO