centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境

 安装VMware10 ，三台centos6.4 版本，安装在VMware虚拟机下。

1）安装中文输入法：

   1、需要root权限，所以要用root登录 ，或su root

    2、yum install "@Chinese Support"

2）安装ssh或者vsftp

   使用chkconfig --list来查看是否装有vsftpd服务；

   使用yum命令直接安装：  yum install vsftpd 

   查看与管理ftp服务：

        启动ftp服务：service vsftpd start

        查看ftp服务状态：service vsftpd status

        重启ftp服务：service vsftpd restart

        关闭ftp服务：service vsftpd stop

3)jdk安装 

 参考http://my.oschina.net/kt431128/blog/269262

2、修改主机名
本人安装一个虚拟机，然后通过虚拟机-》管理-》克隆完成其他两台机器的安装，现在存在的一个问题就是主机名是一样的，这个明显不是自己想要的，所以需要修改其余两台的主机名。

[root@slaver2 sysconfig]# vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=slaver

3、配置/ect/hosts，三台服务器的配置一样

vi /etc/hosts

192.168.21.128   master

192.168.21.131   slaver

192.168.21.130   slaver2

4、创建用户（使用root用户创建后来发现Browse the filesystem 报错，后来查文档，建议使用新建的用户）

useradd  hadoop 

passwd hadoop

输入密码，确认

5、ssh无密码登录

参考：http://my.oschina.net/kt431128/blog/269266

6、HADOOP的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[   ] hadoop-2.2.0.tar.gz         07-Oct-2013 14:46  104M

hadoop环境变量的配置：

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注：在64位操作系统上需要加入一下红色部分的配置信息

网上看到的另一种解决办法：

在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告：

Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.

....

Java: ssh: Could not resolve hostname Java: Name or service not known

HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known

64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known

....

这个问题的错误原因会发生在64位的操作系统上，原因是从官方下载的hadoop使用的本地库文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位编译的，运行在64位系统上就会出现上述错误。

解决方法之一是在64位系统上重新编译hadoop，另一种方法是在hadoop-env.sh和yarn-env.sh中添加如下两行：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native  

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注：/usr/zkt/hadoop2.2.0/hadoop-2.2.0为自定义的下载hadoop文件的解压路径

7、修改hadoop的配置文件hadoop2.2.0/etc/hadoop

1、修改hadoop-env.sh 、yarn-env.sh 确保hadoop运行所需要的java环境

# The java implementation to use.

    export JAVA_HOME=/usr/java/jdk1.7.0_55

2、修改core-site.xml文件  定义文件系统的配置

<configuration>

 <property>  

    <name>fs.default.name</name>  

        <value>hdfs://master:9000/</value>  

 </property>  

 <property>

         <name>hadoop.tmp.dir</name>

         <value>/usr/zkt/hadoop2.2.0/tmp</value>

  </property>  

 </configuration>

3、修改hadfs-site.xml 定义名称节点和数据节点

<configuration>

<property>  

        <name>dfs.datanode.data.dir</name>  

        <value>/usr/zkt/hadoop2.2.0/hdf/data</value>  

        <final>true</final>  

   </property>  

     <property>  

       <name>dfs.namenode.name.dir</name>  

       <value>/usr/zkt/hadoop2.2.0/hdf/name</value>  

       <final>true</final>  

   </property>  

   <property>  

        <name>dfs.replication</name>  

        <value>2</value>  

   </property>

 <property>  

            <name>dfs.permissions</name>  

            <value>false</value>  

    </property> 

</configuration>

4、修改mapred-site.xml Configurations for MapReduce Applications

<property>  

        <name>mapreduce.framework.name</name>  

        <value>yarn</value>  

    </property>  

    <property>  

        <name>mapreduce.jobhistory.address</name>  

        <value>master:10020</value>  

    </property>  

  <property>  

        <name>mapreduce.jobhistory.webapp.address</name>  

        <value>master:19888</value>  

    </property>

5、修改yarn-site.xml文件

 该文件主要用于：

```javascript

1、Configurations for ResourceManager and NodeManager:

 2、Configurations for ResourceManager:

 3、Configurations for NodeManager:

4、Configurations for History Server (Needs to be moved elsewhere):

<property>  

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  

</property>

    <name>yarn.resourcemanager.address</name>  

    <value>master:8032</value>  

</property>  

<property>  

    <name>yarn.resourcemanager.scheduler.address</name>  

    <value>master:8030</value>  

</property>  

<property>  

    <name>yarn.resourcemanager.resource-tracker.address</name>  

    <value>master:8031</value>  

</property>  

<property>  

    <name>yarn.resourcemanager.admin.address</name>  

    <value>master:8033</value>  

</property>  

  <property>  

    <name>yarn.resourcemanager.webapp.address</name>  

    <value>master:8088</value>  

</property>



8、创建第7步配置文件中多出的文件夹

```javascript
data  tmp  name  log    mkdir -r  /usr/zkt/hadoop2.2.0/hdf/data 等

9、为这些文件夹赋权限比较关键不然文件生成的时候无文件创建、写权限

su - root

chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令)

或者切换到hadoop用户下 通过chmod -R 777 data 赋权限

10、将配置好的hadoop分别拷贝到 slaver 和slaver2主机上

scp -r  /usr/zkt/hadoop2.2.0/hadoop-2.2.0    hadoop@slaver:/usr/zkt/hadoop2.2.0/

     scp -r  /usr/zkt/hadoop2.2.0/hadoop-2.2.0    hadoop@slaver2:/usr/zkt/hadoop2.2.0/

11、hadoop namenode的初始化

  如果 hadoop环境变量配置没问题直接使用

hdfs namenode -format

   hadoop command not found 解决办法：

  ```javascript

echo $PATH


        发现hadoop的环境变量是：/home/hadoop/bin 而不是我们配置的环境变量，我们需要把hadoop-2.2.0包下的bin、sbin文件夹拷贝到/home/hadoop/下，再次echo $PATH，发现可以了。

12、关闭防火墙  三台服务器的防火墙都需要关闭

查看iptables状态：

```javascript
service iptables status

iptables开机自动启动：

开启： chkconfig iptables on
关闭： chkconfig iptables off

iptables关闭服务：

开启： service iptables start
关闭： service iptables stop

13、启动hadoop

start-all.sh

    关闭hadoop

     stop-all.sh

14、查看启动的节点进程

  ```javascript

jps


15、查看启动后的服务信息

master中应该有ResourceManager服务，slave中应该有nodemanager服务

查看集群状态：./bin/hdfs dfsadmin –report

查看文件块组成：  ./bin/hdfsfsck / -files -blocks

查看各节点状态:    http://master:50070

时间： 2024-04-20 02:29:09

centos6.4 32/64位机 hadoop2.2.0集群安装的相关文章

Hadoop-2.2.0集群安装配置实践

Hadoop 2.x和1.x已经大不相同了,应该说对于存储计算都更加通用了.Hadoop 2.x实现了用来管理集群资源的YARN框架,可以面向任何需要使用基于HDFS存储来计算的需要,当然MapReduce现在已经作为外围的插件式的计算框架,你可以根据需要开发或者选择合适的计算框架.目前,貌似对MapReduce支持还是比较好的,毕竟MapReduce框架已经还算成熟.其他一些基于YARN框架的标准也在开发中. YARN框架的核心是资源的管理和分配调度,它比Hadoop 1.x中的资源分配的粒度

ubuntu 64位编译hadoop-2.6.0失败，网上看了好久，都没解决，大神速来解救

问题描述 ubuntu 64位编译hadoop-2.6.0失败,网上看了好久,都没解决,大神速来解救 [exec] CMake Error at /usr/local/share/cmake-2.6/Modules/FindPackageHandleStandardArgs.cmake:52 (MESSAGE): [exec] Could NOT find ZLIB [exec] Call Stack (most recent call first): [exec] /usr/local/sha

云计算-hadoop2.6.0 集群搭建问题新手求助

问题描述 hadoop2.6.0 集群搭建问题新手求助有三台ubuntu系统,一台作为master,另外两台作为slave,按照网上的文档搭建完,启动,50070,和8088可以访问,但是发现有个slave没有运行datenode进程,而且50070的datanode information界面没有相关的节点信息,什么原因?求助解决方案你直接手动能启动datenode进程吗,是不是没装好. 解决方案二: 谢谢,没有配置好文件,再请教一个问题,windows eclipse 连接ubuntu

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

25.集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager 25.1.2服务器准备本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本: ü Vmware 11.

Linux下Hadoop2.6.0集群环境的搭建

本文旨在提供最基本的,可以用于在生产环境进行Hadoop.HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用. 基础环境 JDK的安装与配置现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8.找了半天才找到JDK下载列表页的地址(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html).因

国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置

简介 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在hadoop1时代,只有一个NameNode.如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了.这是hadoop1中的单点问题,也是hadoop1不可靠的表现,如图1所示.hadoop2就解决了这个问题. hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode.其中一个处于http://www.aliyun.com/zixun/aggregation/7317.htm

hadoop-2.2.0集群上运行Hive 0.13 出错的解决方案

集群配置 IP地址主机名运行进程 192.168.1.104 cluster04 QuorumPeerMain(ZooKeeper进程) Master(Spark Master进程) DataNode JournalNode ResourceManager(Yanr资源管理器) NodeManager Worker 192.168.1.105 cluster05 NameNode QuorumPeerMain(ZooKeeper进程) Worker(Spark Worker进程) NodeM

硬盘安装32/64位Windows 2008系统方法

Windows 2008操作系统32/64位的安装最好在PE下启动,64位安装32位安装方法基本相同,只是32位安装省略拷贝32位bootsect.exe那一步就可以了. 用虚拟光驱软件提取64位安装文件到硬盘例如 f:\x64\ 复制F:\X64\boot目录到C:\ F:\X64\bootmgr文件到C:\ 再在C:新建目录sources 复制F:X64sourcesboot.wim文件到该目录. 找个32位的bootsect.exe 放到c:\. 在CMD命令下执行c:\bootsec

检测dll是32/64位 ?

检测dll是32/64位 ? void CCheck32Or64Dlg::OnButton2() { CString fileName = ""; CFileDialog *fileDialog = new CFileDialog(TRUE,NULL,NULL,OFN_HIDEREADONLY,"Dll Files(*.dll)|*.dll|Exe Files(*.exe)|*.exe||",NULL); if(fileDialog->DoModal()==I