基于Docker搭建多节点Hadoop集群 | 寒雁Talk
寒雁Talk
主页
博客
RSS
关于
2015-06-08
基于Docker搭建多节点Hadoop集群
摘要: 本文已更新，请查看: 基于Docker搭建Hadoop集群之升级版!!!GitHub地址:kiwenlau/hadoop-cluster-docker作者: KiwenLau日期: 2015-06-08本文介绍了基于Docker在单机上搭建多节点Hadopp集群方法，Hadoop的Master和Slave分别运行在不同容器中。可以直接进入第三部分，快速在本机搭建一个3个节点的Hadoop集群一. 项目简介直接用机器搭建Hadoop集群是一个相当痛苦的过程，尤其对初学者来说。他们还没开始跑wordcount，可能就被这个问题折腾的体无完肤了。我的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现，但是都不是很理想，他们或者镜像太大，或者使用太慢，或者使用了第三方工具使得使用起来过于复杂…下表为一些已知的Hadoop on Docker项目以及其存在的问题。项目镜像大小问题sequenceiq/hadoop-docker:latest1.491GB镜像太大，只支持单个节点sequenceiq/hadoop-docker:2.7.01.76 GB同上sequenceiq/hadoop-docker:2.6.01.624GB同上sequenceiq/ambari:latest1.782GB镜像太大，使用太慢sequenceiq/ambari:2.0.04.804GB同上sequenceiq/ambari:latest:1.704.761GB同上alvinhenrick/hadoop-mutinode4.331GB镜像太大，构建太慢，增加节点麻烦，有bug我的项目参考了alvinhenrick/hadoop-mutinode项目，不过我做了大量的优化和重构。alvinhenrick/hadoop-mutinode项目的Github主页以及作者所写的博客地址：GitHub，博客下面两个表是alvinhenrick/hadoop-mutinode项目与我的kiwenlau/hadoop-cluster-docker项目的参数对比镜像名称构建时间镜像层数镜像大小alvinhenrick/serf258.213s21239.4MBalvinhenrick/hadoop-base2236.055s584.328GBalvinhenrick/hadoop-dn51.959s744.331GBalvinhenrick/hadoop-nn-dn49.548s844.331GB镜像名称构建时间镜像层数镜像大小kiwenlau/serf-dnsmasq509.46s8206.6 MBkiwenlau/hadoop-base400.29s7775.4 MBkiwenlau/hadoop-master5.41s9775.4 MBkiwenlau/hadoop-slave2.41s8775.4 MB可知，我主要优化了这样几点更小的镜像大小更快的构造时间更少的镜像层数更快更方便地改变Hadoop集群节点数目另外，alvinhenrick/hadoop-mutinode项目增加节点时需要手动修改Hadoop配置文件然后重新构建hadoop-nn-dn镜像,然后修改容器启动脚本，才能实现增加节点的功能。而我通过shell脚本实现自动话，不到1分钟可以重新构建hadoop-master镜像，然后立即运行！！！本项目默认启动3个节点的Hadoop集群，支持任意节点数的hadoop集群。另外，启动hadoop, 运行wordcount以及重新构建镜像都采用了shell脚本实现自动化。这样使得整个项目的使用以及开发都变得非常方便快捷:)开发测试环境操作系统：ubuntu 14.04 和 ubuntu 12.04内核版本: 3.13.0-32-genericDocker版本：1.5.0 和1.6.2硬盘不够，内存不够，尤其是内核版本过低会导致运行失败:(二. 镜像简介本项目一共开发了4个镜像serf-dnsmasqhadoop-basehadoop-masterhadoop-slaveserf-dnsmasq镜像基于ubuntu:15.04 (选它是因为它最小，不是因为它最新…)安装serf: serf是一个分布式的机器节点管理工具。它可以动态地发现所有hadoop集群节点。安装dnsmasq: dnsmasq作为轻量级的dns服务器。它可以为hadoop集群提供域名解析服务。容器启动时，master节点的IP会传给所有slave节点。serf会在container启动后立即启动。slave节点上的serf agent会马上发现master节点（master IP它们都知道嘛），master节点就马上发现了所有slave节点。然后它们之间通过互相交换信息，所有节点就能知道其他所有节点的存在了！(Everyone will know Everyone). serf发现新的节点时，就会重新配置dnsmasq,然后重启dnsmasq. 所以dnsmasq就能够解析集群的所有节点的域名啦。这个过程随着节点的增加会耗时更久，因此，若配置的Hadoop节点比较多，则在启动容器后需要测试serf是否发现了所有节点，dns是否能够解析所有节点域名。稍等片刻才能启动Hadoop。这个解决方案是由SequenceIQ公司提出的，该公司专注于将Hadoop运行在Docker中。请参考这个PPT：Docker-based Hadoop Provisioninghadoop-base镜像基于serf-dnsmasq镜像安装JDK(openjdk)安装openssh-server, 配置无密码ssh安装vim：介样就可以愉快地在容器中敲代码了:)安装Hadoop 2.3.0: 安装编译过的hadoop （2.5.2， 2.6.0， 2.7.0 都比2.3.0大，所以我懒得升级了）编译Hadoop的步骤请参考我的博客：Hadoop 2.30 在Ubuntu 14.04 中编译如果需要重新开发我的hadoop-base, 需要下载编译过的hadoop-2.3.0安装包，放到hadoop-cluster-docker/hadoop-base/files目录内。我编译的64位hadoop-2.3.0下载地址：hadoop-2.3.0另外，我还编译了64位的hadoop 2.5.2, 2.6.0, 2.7.0, 其下载地址如下：hadoop-2.3.0hadoop-2.5.2hadoop-2.6.0hadoop-2.7.0hadoop-master镜像基于hadoop-base镜像配置hadoop的master节点格式化namenode这一步需要配置slaves文件，而slaves文件需要列出所有节点的域名或者IP。因此，Hadoop节点数目不同时，slaves文件自然也不一样。因此，更改Hadoop集群节点数目时，需要修改slaves文件然后重新构建hadoop-master镜像。我编写了一个resize-cluster.sh脚本自动化这一过程。仅需给定节点数目作为脚本参数就可以轻松实现Hadoop集群节点数目的更改。由于hadoop-master镜像仅仅做一些配置工作，也无需下载任何文件，整个过程非常快，1分钟就足够了。hadoop-slave镜像基于hadoop-base镜像配置hadoop的slave节点镜像大小分析下表为sudo docker images的运行结果REPOSITORYTAGIMAGE IDCREATEDVIRTUAL SIZEindex.alauda.cn/kiwenlau/hadoop-slave0.1.0d63869855c0317 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-master0.1.07c9d32ede45017 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-base0.1.05571bd5de58e17 hours ago777.4 MBindex.alauda.cn/kiwenlau/serf-dnsmasq0.1.009ed89c24ee817 hours ago206.7 MBubuntu15.04bd94ae5874833 weeks ago131.3 MB易知以下几个结论：serf-dnsmasq镜像在ubuntu:15.04镜像的基础上增加了75.4MBhadoop-base镜像在serf-dnsmasq镜像的基础上增加了570.7MBhadoop-master和hadoop-slave镜像在hadoop-base镜像的基础上大小几乎没有增加下表为docker history index.alauda.cn/kiwenlau/hadoop-base:0.1.0命令的部分运行结果IMAGECREATEDCREATED BYSIZE2039b9b8114644 hours ago/bin/sh -c #(nop) ADD multi:a93c971a49514e787158.5 MBcdb620312f3044 hours ago/bin/sh -c apt-get install -y openjdk-7-jdk324.6 MBda7d10c790c144 hours ago/bin/sh -c apt-get install -y openssh-server87.58 MBc65cb568defc44 hours ago/bin/sh -c curl -Lso serf.zip https://dl.bint14.46 MB3e22b3d72e3344 hours ago/bin/sh -c apt-get update && apt-get install60.89 MBb68f8c8d21403 weeks ago/bin/sh -c #(nop) ADD file:d90f7467c470bfa9a3131.3 MB可知基础镜像ubuntu:15.04为131.3MB安装openjdk需要324.6MB安装hadoop需要158.5MBubuntu,openjdk与hadoop均为镜像所必须，三者一共占了:614.4MB因此，我所开发的hadoop镜像以及接近最小，优化空间已经很小了下图显示了项目的Docker镜像结构：三. 3节点Hadoop集群搭建步骤1. 拉取镜像sudo docker pull index.alauda.cn/kiwenlau/hadoop-master:0.1.0sudo docker pull index.alauda.cn/kiwenlau/hadoop-slave:0.1.0sudo docker pull index.alauda.cn/kiwenlau/hadoop-base:0.1.0sudo docker pull index.alauda.cn/kiwenlau/serf-dnsmasq:0.1.03~5分钟OK~查看下载的镜像sudo docker images运行结果REPOSITORYTAGIMAGE IDCREATEDVIRTUAL SIZEindex.alauda.cn/kiwenlau/hadoop-slave0.1.0d63869855c0317 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-master0.1.07c9d32ede45017 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-base0.1.05571bd5de58e17 hours ago777.4 MBindex.alauda.cn/kiwenlau/serf-dnsmasq0.1.009ed89c24ee817 hours ago206.7 MBhadoop-base镜像是基于serf-dnsmasq镜像的，hadoop-slave镜像和hadoop-master镜像都是基于hadoop-base镜像所以其实4个镜像一共也就777.4MB:)2. 修改镜像tagsudo docker tag d63869855c03 kiwenlau/hadoop-slave:0.1.0sudo docker tag 7c9d32ede450 kiwenlau/hadoop-master:0.1.0sudo docker tag 5571bd5de58e kiwenlau/hadoop-base:0.1.0sudo docker tag 09ed89c24ee8 kiwenlau/serf-dnsmasq:0.1.0查看修改tag后镜像sudo docker images运行结果REPOSITORYTAGIMAGE IDCREATEDVIRTUAL SIZEindex.alauda.cn/kiwenlau/hadoop-slave0.1.0d63869855c0317 hours ago777.4 MBkiwenlau/hadoop-slave0.1.0d63869855c0317 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-master0.1.07c9d32ede45017 hours ago777.4 MBkiwenlau/hadoop-master0.1.07c9d32ede45017 hours ago777.4 MBkiwenlau/hadoop-base0.1.05571bd5de58e17 hours ago777.4 MBindex.alauda.cn/kiwenlau/hadoop-base0.1.05571bd5de58e17 hours ago777.4 MBkiwenlau/serf-dnsmasq0.1.009ed89c24ee817 hours ago206.7 MBindex.alauda.cn/kiwenlau/serf-dnsmasq0.1.009ed89c24ee817 hours ago206.7 MB之所以要修改镜像，是因为我默认是将镜像上传到Dockerhub, 因此Dokerfile以及shell脚本中得镜像名称都是没有alauada前缀的，sorry for this….不过改tag还是很快滴若直接下载我在DockerHub中的镜像，自然就不需要修改tag…不过Alauda镜像下载速度很快的哈~3.下载源代码git clone https://github.com/kiwenlau/hadoop-cluster-docker为了防止Github被XX, 我把代码导入到了开源中国的git仓库git clone http://git.oschina.net/kiwenlau/hadoop-cluster-docker4. 运行容器cd hadoop-cluster-docker./start-container.sh运行结果start master container...start slave1 container...start slave2 container...root@master:~#一共开启了3个容器，1个master, 2个slave开启容器后就进入了master容器root用户的家目录（/root）查看master的root用户家目录的文件ls运行结果hdfs run-wordcount.shserf_log start-hadoop.sh start-ssh-serf.shstart-hadoop.sh是开启hadoop的shell脚本run-wordcount.sh是运行wordcount的shell脚本，可以测试镜像是否正常工作5.测试容器是否正常启动(此时已进入master容器)查看hadoop集群成员serf members运行结果master.kiwenlau.com 172.17.0.65:7946 aliveslave1.kiwenlau.com 172.17.0.66:7946 aliveslave2.kiwenlau.com 172.17.0.67:7946 alive若结果缺少节点，可以稍等片刻，再执行“serf members”命令。因为serf agent需要时间发现所有节点。测试sshssh slave2.kiwenlau.com运行结果Warning: Permanently added 'slave2.kiwenlau.com,172.17.0.67' (ECDSA) to the list of known hosts.Welcome to Ubuntu 15.04 (GNU/Linux 3.13.0-53-generic x86_64)* Documentation: https://help.ubuntu.com/The programs included with the Ubuntu system are free software;the exact distribution terms for each program are described in theindividual files in /usr/share/doc/*/copyright.Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted byapplicable law.root@slave2:~#退出slave2exit运行结果logoutConnection to slave2.kiwenlau.com closed.若ssh失败，请稍等片刻再测试，因为dnsmasq的dns服务器启动需要时间。测试成功后，就可以开启Hadoop集群了！其实你也可以不进行测试，开启容器后耐心等待一分钟即可！6. 开启hadoop./start-hadoop.sh上一步ssh到slave2之后，请记得回到master啊!!！运行结果太多，忽略….hadoop的启动速度取决于机器性能….7. 运行wordcount./run-wordcount.sh运行结果input file1.txt:Hello Hadoopinput file2.txt:Hello Dockerwordcount output:Docker1Hadoop1Hello2wordcount的执行速度取决于机器性能….四. N节点Hadoop集群搭建步骤1. 准备工作参考第二部分1~3：下载镜像，修改tag，下载源代码注意，你可以不下载serf-dnsmasq, 但是请最好下载hadoop-base，因为hadoop-master是基于hadoop-base构建的2. 重新构建hadoop-master镜像./resize-cluster.sh 5不要担心，1分钟就能搞定你可以为resize-cluster.sh脚本设不同的正整数作为参数数1, 2, 3, 4, 5, 6…3. 启动容器./start-container.sh 5你可以为resize-cluster.sh脚本设不同的正整数作为参数数1, 2, 3, 4, 5, 6…这个参数呢，最好还是得和上一步的参数一致:)这个参数如果比上一步的参数大，你多启动的节点，Hadoop不认识它们..这个参数如果比上一步的参数小，Hadoop觉得少启动的节点挂掉了..4. 测试工作参考第三部分5~7：测试容器，开启Hadoop，运行wordcount请注意，若节点增加，请务必先测试容器，然后再开启Hadoop, 因为serf可能还没有发现所有节点，而dnsmasq的DNS服务器表示还没有配置好服务测试等待时间取决于机器性能….
关于Fundebug
Fundebug专注于JavaScript、微信小程序、微信小游戏、支付宝小程序、React
Native、Node.js和Java线上应用实时BUG监控。
自从2016年双十一正式上线，Fundebug累计处理了30亿+错误事件，付费客户有阳光保险、达令家、核桃编程、荔枝FM、微脉等众多品牌企业。欢迎大家免费试用！
版权声明:
转载时请注明作者KiwenLau以及本文地址：
https://kiwenlau.com/2015/06/08/150608-hadoop-cluster-docker/
您的用户遇到BUG了吗？
体验Demo
免费使用
Docker, Hadoop
个人介绍
Fundebug 创始人
kiwenlau@126.com
寒雁周刊
关于Fundebug
一行代码搞定BUG监控！
累计处理BUG:
博客统计
201 篇博客
243479 字
标签
Fundebug Docker Ubuntu Hadoop Kubernetes Mesos Marathon Vagrant Node.js JavaScript jQuery MongoDB 翻译 Swarm Hexo Linux 测试 Git Nginx 小程序
最新博客
别了，IE浏览器
了不起的Chrome浏览器（13）：Chrome 100支持多屏应用了！
了不起的Chrome浏览器（7）：Chrome 95终于支持WebAssembly异常处理了！
了不起的Chrome浏览器（6）：Chrome 94开始WebGPU试用，Web的图像渲染及机器学能力更强了
了不起的Chrome浏览器（5）：Chrome 93支持Error Cause，我国首个ECMAScript提案可以用了
了不起的Chrome浏览器（3）：Chrome 91支持WebAssembly SIMD，加速Web在AI等领域的应用
了不起的Chrome浏览器（2）：Chrome 90将默认使用HTTPS，Web更安全了
从创业者到打工人，我在阿里这1年
了不起的Chrome浏览器（1）：Chrome 89开启Web应用的物联网时代
炒股半年赚的钱，8天就亏完了
热门博客
Copyright 2015-2021 寒雁 ·
闽ICP备17023542号-1