type
status
date
slug
summary
tags
category
icon
password

一、写在前面

为什么要阅读源码？这个问题对于热爱、学习、使用技术的程序er的重要性不言而喻：不懂原理只会使用就是重复劳动的码农，技术长进不大，以后也会碰到职业天花板。所以我们就开始吧！
环境如下：
  • JVM：JDK 1.8.0_202
  • Scala：2.11.8
  • Spark：spark-2.1.0
  • IDE：IntelliJ IDEA 2022.1.3

二、开始搭建

三、启动调试

参考sbin/spark-master.sh、sbin/spark-slave.sh启动脚本内容分别启动master和slave。
idea启动org.apache.spark.deploy.master.Master和org.apache.spark.deploy.worker.Worker，需要注意的是：添加
”add dependencies with provided scope to classpath”
启动Master
notion image
启动Worker
添加启动参数：--webui-port 8081 spark://10.10.47.219:7077
notion image
至此，Spark本地idea启动完毕，可以尽情的源码调试了👏
相关文章
2023-06-20
Spark源码分析02 - SparkConf配置管理
元数据平台-数据血缘自建v2ray代理