type
status
date
slug
summary
tags
category
icon
password
SparkConf是 Spark 应用程序的配置。用于将各种 Spark 参数设置为键值对的形式。大多数情况下,可以使用
new SparkConf()
创建一个 SparkConf 对象,该对象将从任何 spark.*
应用程序中设置的 Java 系统属性来加载值。在这种情况下,您直接在 SparkConf 对象上设置的参数优先于系统属性。对于单元测试,您还可以调用 new SparkConf(false)
来跳过加载外部设置并获得相同的配置,无论系统属性是什么。此类中的所有设置方法都支持链接。例如,您可以编写 new SparkConf().setMaster("local").setAppName("My app")
。SparkConf.scala
- 作者:Pandax
- 链接:https://pandax.cn/article/Spark%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%9002%20-%20SparkConf%E9%85%8D%E7%BD%AE%E7%AE%A1%E7%90%86
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。