SparkSession.Builder在“配置中必须设置主URL”错误时失败：“spark.master”设置为“local”。

10 浏览
0 Comments

SparkSession.Builder在“配置中必须设置主URL”错误时失败：“spark.master”设置为“local”。

我有以下代码：

val sparkBuilder: SparkSession.Builder = SparkSession
  .builder
  .appName("CreateModelDataPreparation")
  .config("spark.master", "local")
implicit val spark: SparkSession = sparkBuilder.getOrCreate()

然而，当我运行程序时仍然出现以下错误：

org.apache.spark.SparkException: 必须在配置中设置主节点URL
at org.apache.spark.SparkContext.(SparkContext.scala:379)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:868)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:860)
at scala.Option.getOrElse(Option.scala:121)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:860)

在Main方法中设置了SparkSession，如其他帖子中建议的那样。但这些方法似乎没有解决问题。

这与建议的重复问题不同，因为我已经尝试了以下两种方法：

def main(argv: Array[String]): Unit = {
  import DeweyConfigs.implicits.da3wConfig
  val commandlineArgs: DeweyReaderArgs = processCommandLineArgs(argv)
  val sparkBuilder: SparkSession.Builder = SparkSession
    .builder
    .appName("CreateModelDataPreparation")
    .master("local")
  implicit val spark: SparkSession = sparkBuilder.config("spark.master", "local").getOrCreate()
  import spark.implicits._
  ...

和

def main(argv: Array[String]): Unit = {
  import DeweyConfigs.implicits.da3wConfig
  val commandlineArgs: DeweyReaderArgs = processCommandLineArgs(argv)
  val sparkBuilder: SparkSession.Builder = SparkSession
    .builder
    .appName("CreateModelDataPreparation")
    .config("master", "local")
  implicit val spark: SparkSession = sparkBuilder.config("spark.master", "local").getOrCreate()
  import spark.implicits._
  ...

0

1 答案

0 Comments

SparkSession.Builder Fails with "A master URL must be set in your configuration": "spark.master" is set to "local" 这个问题出现的原因是没有设置SparkSession的master URL，解决方法是在builder中添加.master("local")。

在这个问题中，用户尝试使用SparkSession.Builder来创建一个SparkSession对象。然而，当他尝试运行代码时，遇到了一个错误消息，提示他需要在配置中设置一个master URL。

为了解决这个问题，用户尝试使用config参数来设置master URL，但是这种方法并没有起作用。于是，他在builder中添加了.master("local")参数，这样就成功地解决了问题。

用户还提到，他之前在stackoverflow上看到了一个类似的问题，链接为stackoverflow.com/questions/38008330/。在这个问题中，也建议使用.master("local")来设置master URL。

解决这个问题的方法是在SparkSession.Builder中添加.master("local")参数来设置master URL。

0