首页服务器Web服务器 centOS7下Spark安装配置教程详解

centOS7下Spark安装配置教程详解

admin 2019-10-11 23:55:40 阅读() 评论()

环境说明：         操作系统： centos7 64位 3台
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
     …

环境说明：

        操作系统： centos7 64位 3台
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
        centos7-3 192.168.190.131 slave2

安装spark需要同时安装如下内容：

jdk scale

1.安装jdk，配置jdk环境变量

这里不讲如何安装配置jdk，自行百度。

2.安装scala

下载scala安装包，https://www.scala-lang.org/download/选择符合要求的版本进行下载，使用客户端工具上传到服务器上。解压：

 #tar -zxvf scala-2.13.0-M4.tgz  再次修改/etc/profile文件，添加如下内容：  export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4  export PATH=$PATH:$SCALA_HOME/bin  #source /etc/profile   // 让其立即生效  #scala -version      //查看scala是否安装完成