type
status
date
slug
summary
tags
category
icon
password
 
SparkConf是 Spark 应用程序的配置。用于将各种 Spark 参数设置为键值对的形式。大多数情况下,可以使用 new SparkConf() 创建一个 SparkConf 对象,该对象将从任何 spark.* 应用程序中设置的 Java 系统属性来加载值。在这种情况下,您直接在 SparkConf 对象上设置的参数优先于系统属性。对于单元测试,您还可以调用 new SparkConf(false) 来跳过加载外部设置并获得相同的配置,无论系统属性是什么。此类中的所有设置方法都支持链接。例如,您可以编写 new SparkConf().setMaster("local").setAppName("My app")
 

SparkConf.scala

 
ElasticSearch7+Spark 构建高匹配度搜索服务+千人千面推荐系统大数据监控-Metrics2录入指标到OpenTSDB