使用docker快速搭建Spark集群的方法教程

前言

Spark 是 Berkeley 开发的分布式计算的框架，相对于 Hadoop 来说，Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。下面来一起看看使用docker快速搭建Spark集群的方法教程。

适用人群

• 正在使用spark的开发者
• 正在学习docker或者spark的开发者

准备工作

• 安装docker
• (可选)下载java和spark with hadoop

Spark集群

Spark运行时架构图

如上图: Spark集群由以下两个部分组成

• 集群管理器(Mesos, Yarn或者standalone Mode)
• 工作节点(worker)

如何docker化(本例使用Standalone模式)

1、将spark集群拆分

      base(基础镜像)

      master(主节点镜像)

      worker(工作镜像)

2、编写base Dockerfile

注: 为方便切换版本基础镜像选择的是centos, 所以要下载java和spark, 方便调试, 可以下载好安装文件后本地搭建一个静态文件服务器, 使用Node.js 的http-server可以快速搞定

命令如下

 npm install http-server -g http-server -p 54321 ~/Downloads