Spark三种属性配置方式详解--1号站长-站长学院|资讯交流平台

随着Spark项目的逐渐成熟, 越来越多的可配置参数被添加到Spark中来。在Spark中提供了三个地方用于配置：

　　1、Spark properties：这个可以控制应用程序的绝大部分属性。并且可以通过 SparkConf对象或者Java 系统属性进行设置；
　　2、环境变量(Environment variables)：这个可以分别对每台机器进行相应的设置，比如IP。这个可以在每台机器的$SPARK_HOME/ conf/spark-env.sh脚本中进行设置；
　　3、日志：所有的日志相关的属性可以在log4j.properties文件中进行设置。

　　下面对这三种属性设定进行详细的说明。

一、Spark properties

　　Spark properties可以控制应用程序的绝大部分属性，并且可以分别在每个应用上进行设置。这些属性可以直接在SparkConf对象上设定，该对象可以传递给SparkContext。SparkConf对象允许你去设定一些通用的属性（比如master URL、应用的名称等），这些属性可以传递给set()方法的任意key-value对。如下：

valconf =new SparkConf()       .setMaster("local")       .setAppName("CountingSheep")       .set("spark.executor.memory", "1g")valsc =new SparkContext(conf)