1、下载hadoop-2.2.0.tar.gz,解压tar -xzvf hadoop-2.2.0.tar.gz
2、进入hadoop目录下创建tmp目录和dfs/data目录、dfs/name目录
3、进入配置文件存放目录${HADOOP_HOME}/etc/hadoop
3-1,修改hadoop-env.sh和yarn-env.sh中JAVA_HOME使之与系统一致
3-2,core-site.xml内容如下:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9101</value>
<description></description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop-2.2.0/tmp</value>
<description>tmp临时目录</description>
</property>
<property>
<name>io.native.lib.available</name>
<value>true</value>
<description>是否启用本地native库</description>
</property>
3-3,hdfs-site.xml内容如下:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hadoop-2.2.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hadoop-2.2.0/dfs/data</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
3-4、mapred-site.xml内容如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2-5、yarn-site.xml内容如下:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3-5、根据实际情况修改masters文件slaves文件
4、利用scp将整个hadoop文件夹同步到各个节点
5、namenode格式化
hadoop namenode -format 或hdfs namenode -format
6、启动
start-dfs.sh && start-yarn.sh 或start-all.sh
启动完后在master上通过jps可查看到进程ResourceManager、SecondaryNameNode、NameNode;
在slave上可查看到NodeManager、DataNode。
此外,也可在web界面上查看,地址http://master:8088/cluster
若发现进程启动失败,则进入出错节点的${HADOOP_HOME}/logs目录下查看相应*.log文件
分享到:
相关推荐
Hadoop 2.2.0 分布式安装指导
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
NULL 博文链接:https://qindongliang.iteye.com/blog/2078452
此伪分布式搭建文件绝对正确,LZ亲自试验过。另,本文件为传智播客中使用文件,请勿用于商业用途,否则后果自负。
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程.
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
hadoop伪分布式搭建(从虚拟机设置到搭建完成),包含每一个步骤,照做即可,内有hadoop2.2.0安装包。
本文档堪称最齐全的Hadoop-2.2.0搭建手册,不管是对于生手,还是对于想自己动手搭建的生手来说,都是非常有用的;因为自己是生手,看网上好多步骤,但还是有不懂的地方,所以自己整理下来了齐全的生手版,希望对一切...
hadoop的2.2.0完全分布式集群配置.pdf
3 单机安装Hadoop 17 3.1 hdfs和yarn单机安装 17 3.1.1 配置主机和防火墙 17 3.2 hadoop基本shell命令 19 3.3 简单JAVA实例 20 4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 ...
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
hadoop-2.2.0重新编译和分布式安装
Hadoop 2.2.0 API CHM格式 带索引和全文搜索 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...
Hadoop-2.2.0-64位源码编译及分布式安装指南,步骤比较详细,从零基础学习
Hadoop2.x版本完全分布式安装与部署,介绍完整过程,有图,条理十分清晰,包看包会。上课专用。
CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置
Hadoop分布式搭建环境: 系统:centos 6.5 64位 软件:Hadoop 2.2.0 64位 jdk 1.7 64位 用户: hadoop 运行环境:虚拟机vm 10 64位
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个 是Standby,状态由zookeeper进行协调
Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合,Hadoop-2.X使用HA方式