【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用_chiweitree的博客-CSDN博客
【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用
chiweitree
于 2015-01-26 17:12:50 发布
2487
收藏
分类专栏：
hadoop
文章标签：
hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/simonchi/article/details/43154141
版权
hadoop
专栏收录该内容
5 篇文章
0 订阅
订阅专栏
4台机器
176.177.178,179
176是resourcemanager
177是namenode
178是datanode，nodemanager
179是datanode，nodemanager
首先为了方便，4台机器之前全部建立ssh无密码登录，详见：http://blog.csdn.net/simonchi/article/details/39054437
配好hostname到ip的映射，这里特别注意，必须得配，IP是不行的，解析不了，而且注意注释掉原来hosts文件中的其它无关内容
cat /etc/hosts
192.168.11.176 com23.authentication
192.168.11.177 com22.authentication
192.168.11.178 com21.authentication
192.168.11.179 com20.authentication
下面，我么你在176上配置所有需要配置的文件，让后将所有文件拷贝到其它机器即可。
1、JAVA_HOME内容添加
hadoop-env.sh
修改JAVA_HOME
yarn-env.sh 
修改JAVA_HOME
这个就不说了
2、core-site.xml
属性”fs.defaultFS“表示NameNode节点地址，由”hdfs://主机名(或ip)：端口号”组成。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.11.177:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
3、hdfs-site.xml
属性“dfs.namenode.name.dir”表示NameNode存储命名空间和操作日志相关的元数据信息的本地文件系统目录，该项默认本地路径为”/tmp/hadoop-{username}/dfs/name”；属性”dfs.datanode.data.dir“表示DataNode节点存储HDFS文件的本地文件系统目录，由”file://本地目录”组成,该项默认本地路径为”/tmp/hadoop-{username}/dfs/data”。属性“dfs.namenode.secondary.http-address”表示SecondNameNode主机及端口号（如果无需额外指定SecondNameNode角色，可以不进行此项配置）；
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/namenodedir,/home/hadoop/namenodedirbak</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/datanodedir,/home/hadoop/datanodedirbak</value>
</property>
4、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.11.176:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.11.176:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.11.176:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.11.176:8025</value>
</property>
5、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.11.176:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.11.176:19888</value>
</property>
6、slaves
com21.authentication
com20.authentication
安装完毕后，需登陆NameNode节点或任一DataNode节点执行hdfs namenode -format格式化集群HDFS文件系统；
注：如果非第一次格式化HDFS文件系统，则需要在进行格式化操作前分别将NameNode和各个DataNode节点的dfs.namenode.name.dir目录下的所有内容清空。
好了，拷贝到其它机器。
7、启动hadoop集群
1、格式化分布式文件系统
sh bin/hdfs namenode -format
2、在177上启动namenode节点
sh sbin/hadoop-daemon.sh --config etc/hadoop --script hdfs start namenode
3、启动slaves中的datanode节点
sh sbin/hadoop-daemon.sh --config etc/hadoop/ --script hdfs start datanode
4、在176上启动resourcemanager
sh sbin/yarn-daemon.sh --config etc/hadoop/ start resourcemanager
5、启动slaves中的nodemanager节点
sh sbin/yarn-daemon.sh --config etc/hadoop/ start nodemanager
http://192.168.11.177:50070  观察集群情况
176
root@com23 hadoop-2.6.0]# jps 
16261 Jps 
16207 ResourceManager
177
root@com22 hadoop-2.6.0]# jps 
29551 NameNode 
29623 Jps
178
root@com21 hadoop-2.6.0]# jps 
31723 DataNode 
32051 NodeManager 
32100 Jps
179
root@com20 hadoop-2.6.0]# jps 
30960 Jps 
30565 DataNode 
30916 NodeManager
8、关闭hadoop集群
1、停止namenode
sh sbin/hadoop-daemon.sh --config etc/hadoop/ --script hdfs stop namenode
2、停止datanode
sh sbin/hadoop-daemon.sh --config etc/hadoop/ --script hdfs stop datanode
3、停止resourcemanager
sh sbin/yarn-daemon.sh --config etc/hadoop/ stop resourcemanager
4、停止nodemanager
sh sbin/yarn-daemon.sh --config etc/hadoop/ stop nodemanager
9、文件系统命令的使用
详见： http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/FileSystemShell.html#mkdir
1>创建文件夹
./hdfs dfs -mkdir -p /user/hadoop/dir1 /user/hadoop/dir2
[root@com22 bin]# ./hdfs dfs -ls -R /
15/01/26 16:47:48 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x - root supergroup 0 2015-01-26 16:43 /user
drwxr-xr-x - root supergroup 0 2015-01-26 16:43 /user/hadoop
drwxr-xr-x - root supergroup 0 2015-01-26 16:43 /user/hadoop/dir1
drwxr-xr-x - root supergroup 0 2015-01-26 16:43 /user/hadoop/dir2
警告哪一行的问题，必须自己用下载hadoop源码，编译成64位的来解决。
2>传文件到hdfs
./hdfs dfs -put /home/hadoop/hadoop-2.6.0/etc/hadoop/ /user/hadoop/dir1
[root@com22 bin]# ./hdfs dfs -ls -R /user/hadoop/dir1/hadoop
15/01/26 17:08:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r-- 3 root supergroup 4436 2015-01-26 17:08 /user/hadoop/dir1/hadoop/capacity-scheduler.xml
-rw-r--r-- 3 root supergroup 1335 2015-01-26 17:08 /user/hadoop/dir1/hadoop/configuration.xsl
-rw-r--r-- 3 root supergroup 318 2015-01-26 17:08 /user/hadoop/dir1/hadoop/container-executor.cfg
-rw-r--r-- 3 root supergroup 994 2015-01-26 17:08 /user/hadoop/dir1/hadoop/core-site.xml
-rw-r--r-- 3 root supergroup 3670 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hadoop-env.cmd
-rw-r--r-- 3 root supergroup 4256 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hadoop-env.sh
-rw-r--r-- 3 root supergroup 2490 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hadoop-metrics.properties
-rw-r--r-- 3 root supergroup 2598 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hadoop-metrics2.properties
-rw-r--r-- 3 root supergroup 9683 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hadoop-policy.xml
-rw-r--r-- 3 root supergroup 1072 2015-01-26 17:08 /user/hadoop/dir1/hadoop/hdfs-site.xml
-rw-r--r-- 3 root supergroup 1449 2015-01-26 17:08 /user/hadoop/dir1/hadoop/httpfs-env.sh
-rw-r--r-- 3 root supergroup 1657 2015-01-26 17:08 /user/hadoop/dir1/hadoop/httpfs-log4j.properties
-rw-r--r-- 3 root supergroup 21 2015-01-26 17:08 /user/hadoop/dir1/hadoop/httpfs-signature.secret
-rw-r--r-- 3 root supergroup 620 2015-01-26 17:08 /user/hadoop/dir1/hadoop/httpfs-site.xml
-rw-r--r-- 3 root supergroup 3523 2015-01-26 17:08 /user/hadoop/dir1/hadoop/kms-acls.xml
-rw-r--r-- 3 root supergroup 1325 2015-01-26 17:08 /user/hadoop/dir1/hadoop/kms-env.sh
-rw-r--r-- 3 root supergroup 1631 2015-01-26 17:08 /user/hadoop/dir1/hadoop/kms-log4j.properties
-rw-r--r-- 3 root supergroup 5511 2015-01-26 17:08 /user/hadoop/dir1/hadoop/kms-site.xml
-rw-r--r-- 3 root supergroup 11291 2015-01-26 17:08 /user/hadoop/dir1/hadoop/log4j.properties
-rw-r--r-- 3 root supergroup 938 2015-01-26 17:08 /user/hadoop/dir1/hadoop/mapred-env.cmd
-rw-r--r-- 3 root supergroup 1383 2015-01-26 17:08 /user/hadoop/dir1/hadoop/mapred-env.sh
-rw-r--r-- 3 root supergroup 4113 2015-01-26 17:08 /user/hadoop/dir1/hadoop/mapred-queues.xml.template
-rw-r--r-- 3 root supergroup 1223 2015-01-26 17:08 /user/hadoop/dir1/hadoop/mapred-site.xml
-rw-r--r-- 3 root supergroup 758 2015-01-26 17:08 /user/hadoop/dir1/hadoop/mapred-site.xml.template
-rw-r--r-- 3 root supergroup 42 2015-01-26 17:08 /user/hadoop/dir1/hadoop/slaves
-rw-r--r-- 3 root supergroup 2316 2015-01-26 17:08 /user/hadoop/dir1/hadoop/ssl-client.xml.example
-rw-r--r-- 3 root supergroup 2268 2015-01-26 17:08 /user/hadoop/dir1/hadoop/ssl-server.xml.example
-rw-r--r-- 3 root supergroup 2237 2015-01-26 17:08 /user/hadoop/dir1/hadoop/yarn-env.cmd
-rw-r--r-- 3 root supergroup 4606 2015-01-26 17:08 /user/hadoop/dir1/hadoop/yarn-env.sh
-rw-r--r-- 3 root supergroup 1351 2015-01-26 17:08 /user/hadoop/dir1/hadoop/yarn-site.xml
至此，整个hadoop 2.6的集群和文件系统的使用就说完了。
后续来说说如何开发mapreduce了。。。
chiweitree
关注
关注
点赞
收藏
打赏
评论
【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用
4台机器176.177.178,179176是resourcemanager177是namenode178是datanode，nodemanager179是datanode，nodemanager首先为了方便，4台机器之前全部建立ssh无密码登录，详见：http://blog.csdn.net/simonchi/article/details/39054437配好hos
复制链接
扫一扫
专栏目录
hadoop 2.6.0 64位安装包
12-23
最新版hadoop 64位安装包 centos 6.4 64位机器上编译 由于超过100MB，所以给的网盘链接地址
hadoop-2.6.4
10-20
hadoop-2.6.4百度云下载链接。下载解压后配置好就可以使用。
参与评论
您还未登录，请先
登录
后发表或查看评论
Hadoop集群环境搭建——文件上传
weixin_45769285的博客
05-21
1606
实验内容
Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hadoop还包括了Hive，Hbase，ZooKeeper，Pig，Avro，Sqoop，Flume，Mahout等项目。（摘
Apache Hadoop2.6.2 小集群搭建
技术大神之路
03-31
814
1. 拓扑结构图4台机器，搭建图如下
1,2,3,4 分别记做 Hagrid01，Hagrid02，Hagrid03，Hagrid04
NN指的是 Namenode
JN指的是JournalNode
DN指的是DataNode
生产环境下，Active NN 和 Standby NN 都应该单独占用一台机器，这里为了节省资源，StandbyNN上也做了 JN 和 DN 2. 对每台机器
hdfs上传文件大小为零问题解决
cht0112的博客
06-08
5234
问题描述：
搭建了一个Hadoop集群，1Master+2Slave。完成后从客户端上传文件，上传后，文件创建，但文件大小为0。Hadoop的log信息如下：
java.io.IOException: File /uploadResource/Resource_103/20170607162133115video.mp4 could only be replicated to 0
Hadoop上传文件到hdfs中
蹊源的奇思妙想的博客
08-27
4万+
hadoop常见指令：
hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件）
hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等
hadoop fs -ls / ：查看根目录文件
hadoop fs -ls /tmp/da...
hadoop-2.6.2_X64 native
11-25
hadoop-2.6.2_X64 native
Hadoop-2.6.2集群配置安装
weixin_34293911的博客
11-18
86
Hadoop-2.6.2集群安装
Hadoop-262集群安装
环境说明
基础环境搭建
CentOS 7安装
新建用户hadoop
配置hosts
关闭防火墙
安装jdk180_40
ssh配置
安装配置hadoop-262
hadoop环境变量
hadoop参...
HDFS练习1-----统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比
_a_0_
03-22
2263
问题还原：编写程序统计出 HDFS 文件系统中文件大小小于 HDFS 集群中的默认块大小的文件占比比如：大于等于 128M 的文件个数为 98，小于 128M 的文件总数为 2，所以答案是 2%import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache....
HADOOP分布式文件系统集群搭建
Hydra的博客
08-10
195
目录
环境准备
前期准备
网络配置
修改主机名
关闭防火墙
配置域名映射
上传安装jdk
修改master的环境变量：/etc/profile
安装HDFS
修改hadoop-env.sh
修改core-site.xml
修改hdfs-site.xml
利用scp命令复制到其他服务器上
启动hdfs集群
先初始化namenode的元数据存储目录：格式化
启动namenode
启动datanode
访问namenode的web页面
批量自动启动集群
修改maste.
Linux上传本地文件到Hadoop的HDFS文件系统
热门推荐
zhangvalue的博客
06-12
8万+
记录如何将本地文件上传至HDFS中
前提是已经启动了hadoop成功（nodedate都成功启动）
①先切换到HDFS用户
②创建一个input文件夹
zhangsf@hadoop1:~$ hdfs dfs -mkdir /input
多级创建的时候 hdfs dfs -mkdir -p /wifi/classify
查看创建的文件夹在 hadoop1:50070中查看（我自己的对...
Hadoop-2.4.1学习之FileSystem及实战
skyWalker_ONLY
12-30
8595
本篇文章学习了Hadoop的FileSystem及其子类，详细介绍了get和newInstance的区别并介绍了若干API方法，最后给出了一个简单的实例
hadoop-2.6下载地址
cleverchou23的博客
04-28
5763
http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/
hadoop-2.6.5伪分布式集群搭建
技术成就梦想，梦想成就未来。
05-11
1210
本次搭建hadoop所使用的操作系统是红帽6，32位系统。
[hadoop@hadoop01 ~]$ cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.0 (Santiago)
[hadoop@hadoop01 ~]$ uname -a
Linux hadoop01 2.6.32-71.el6.i686 #1 S...
hadoop中创建文件与下载文件
JJBOOM425的博客
10-12
2万+
首先要事先搭建好hadoop平台，配置相关的参数与环境变量。
1、打开虚拟机，打开hadoop节点
打开VMware，启动虚拟机。再启动Xshell，使用 hadoop文件夹中的sbin中的start-all.sh来打开hadoop节点。
打开节点后可以通过jps指令看看节点打开情况。
2、获取虚拟机的地址ip，打开hadoop平台
我的IP为...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
技术杂谈
09-05
3万+
GitChat 作者：鸣宇淳
Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
【大数据面试题】（一）Hadoop 相关面试题总结
云祁QI
01-19
4949
1.MapTask并行机度是由什么决定的？
由切片数量决定的。
2.MR是干什么的？
MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序...
Hadoop（2.6.5版本）集群搭建
GaoChenXi
06-16
1918
自己在本机准备安装四台linux环境，我本机安装的是最小化安装（内存分配512M），首先配置vi /etc/hostshost名字千万别有* / _等特殊字符，否则当你后面配置好后启动datenode报错：Does not contain a valid host:port authority然后关闭防火墙：service iptables stop ---- chkconfig i...
Hadoop集群硬盘故障分析与自动化修复
炮哥技术分享
07-15
727
摘要
硬盘在服务器中起着至关重要的作用，因为硬盘里面存储的是数据，随着制造业技术的提高，硬盘的类型也在逐渐的改变。对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。
有的公司采用LVM来管理硬盘，这样做方便扩缩容，也有的公司直接用裸盘来存数据，这样做的好处是不会因LVM而损失掉一部分硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。
Hadoop集群中跑Datan...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：酷酷鲨
设计师：CSDN官方博客
返回首页
chiweitree
CSDN认证博客专家
CSDN认证企业博客
码龄13年
暂无认证
241
原创
1万+
周排名
2万+
总排名
105万+
访问
等级
1万+
积分
232
粉丝
278
获赞
201
评论
442
收藏
私信
关注
热门文章
通过tcpdump抓取 指定 ip 端口 的网络数据，并通过wireshark分析网络数据，很实用
69501
【JVM】初识JAVA工具JMC，java mission control，飞行记录器（黑匣子），IBM heapAnalyzer使用
30777
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
21974
XStream实现xml和java对象之间的互相转换(包括对属性，别名，下划线_的处理)，同理JSON也可以
20270
【NetFlow】NetFlow V9协议详细分析
19748
分类专栏
springboot
12篇
SpringCloud
3篇
TCP
3篇
Git
设计模式
12篇
求助
1篇
性能优化
7篇
Oracle
19篇
Java
126篇
Linux
18篇
JVM
6篇
spring
12篇
mybatis/ibatis
1篇
maven
2篇
memcached
2篇
开发问题实录
8篇
Jetty
3篇
安全
5篇
机器学习
3篇
代码大全
1篇
webservice
1篇
rabbitmq
1篇
groovy
Flume
24篇
kafka
2篇
hadoop
5篇
zookeeper
3篇
架构
2篇
hbase
3篇
hdfs
2篇
随笔
storm
1篇
redis
6篇
NFS
1篇
MongoDB
1篇
Nginx
5篇
DPI
1篇
LVS
Keepalived
1篇
F5
1篇
最新评论
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
maple 枫:
看pom依赖，springboot的版本或spring的版本，或者mvn dependecy tree也能看到
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
週易文:
请问一下如何降低依赖不用spring6呢
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
KIM林ZH:
请问一下如何降低依赖不用spring6呢
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
Meteor_233333:
请问一下，如何不使用Spring6？哪里看引用了Spring6
【NetFlow】NetFlow V9协议详细分析
talllllll:
Decode As->current/当前，选择CFLOW，不是在字段UDP那里选择
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
【JAVA】类文件具有错误的版本 61.0, 应为 52.0
【后端知识总结】常用的研发知识总结
【Linux】 Linux的多年工作经验总结，高频知识和技术原理
2022年4篇
2021年6篇
2020年12篇
2019年4篇
2018年8篇
2017年11篇
2016年10篇
2015年64篇
2014年46篇
2013年56篇
2012年50篇
目录
目录
分类专栏
springboot
12篇
SpringCloud
3篇
TCP
3篇
Git
设计模式
12篇
求助
1篇
性能优化
7篇
Oracle
19篇
Java
126篇
Linux
18篇
JVM
6篇
spring
12篇
mybatis/ibatis
1篇
maven
2篇
memcached
2篇
开发问题实录
8篇
Jetty
3篇
安全
5篇
机器学习
3篇
代码大全
1篇
webservice
1篇
rabbitmq
1篇
groovy
Flume
24篇
kafka
2篇
hadoop
5篇
zookeeper
3篇
架构
2篇
hbase
3篇
hdfs
2篇
随笔
storm
1篇
redis
6篇
NFS
1篇
MongoDB
1篇
Nginx
5篇
DPI
1篇
LVS
Keepalived
1篇
F5
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
chiweitree
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值