从scala脚本退出Spark-shell。

9 浏览
0 Comments

从scala脚本退出Spark-shell。

我正在使用这个命令来运行scala脚本。

spark-shell -i test.scala

在脚本执行结束后,我仍然看到spark-shell在运行。

我在test.scala脚本中使用了":q/:quit"尝试退出,但没有起作用。

0
0 Comments

在这个问题中,用户寻求一种退出Spark-shell的方法,即从Scala脚本中退出Spark-shell。在一个相关的问题中,有一个回答提供了一种解决方法,即使用echo :quit | spark-shell ...命令。

回答中提供的解决方法是通过在命令行中执行echo :quit | spark-shell ...来退出Spark-shell。这个命令会向Spark-shell发送一个特殊的输入:quit,从而使其退出。

这个解决方法非常简单且有效,用户表示这正是他们所需要的。感谢这个回答给出了解决该问题的方法。

总结起来,要从Scala脚本中退出Spark-shell,可以使用echo :quit | spark-shell ...命令。这个命令会发送特殊的输入:quit给Spark-shell,使其退出。

0
0 Comments

在版本2.4.3中,使用System.exit(0)可以成功退出Spark-shell。然而,在其他版本中,这种方法可能会导致Spark-shell无法正常退出。

问题的原因是在Spark-shell中使用System.exit(0)时,会触发一个异常,导致Spark-shell无法正常退出。这个问题可能会影响到需要在Scala脚本中退出Spark-shell的用户。

解决这个问题的方法是使用特定的方法来退出Spark-shell。下面是一个示例代码,展示了如何在Scala脚本中退出Spark-shell:

import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
object SparkShellExit {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("Spark Shell Exit Example")
      .getOrCreate()
    // 执行Spark任务
    // 关闭SparkSession
    spark.stop()
    // 退出Spark-shell
    System.exit(0)
  }
}

在这个示例代码中,我们首先创建了一个SparkSession,然后执行了一些Spark任务。在任务执行完毕后,我们调用了spark.stop()来关闭SparkSession,然后使用System.exit(0)来退出Spark-shell。

通过这种方式,我们可以在Scala脚本中正常退出Spark-shell,而不会触发异常。这种方法适用于各个版本的Spark-shell,可以帮助用户解决在退出Spark-shell时遇到的问题。

0
0 Comments

问题的原因是在scala脚本中退出spark-shell时,需要在脚本的末尾添加exit()来避免进入scala REPL。

解决方法是在脚本的末尾添加exit()或者System.exit(0)来退出spark-shell。例如,在Helloworld.scala脚本中可以添加以下代码:

print("Hello World")
print("Second Line")
print("Bye now")
exit()

或者

print("Hello World")
print("Second Line")
print("Bye now")
System.exit(0)

然后通过以下命令运行脚本:

spark-shell -i helloworld.scala

另外,也可以尝试使用sys.exit(0)代替System.exit(0)来退出spark-shell。例如:

print("Hello World")
print("Second Line")
print("Bye now")
sys.exit(0)

需要注意的是,在某些情况下,exit()可能无法正常工作,因此建议使用System.exit(0)或sys.exit(0)来确保正确退出spark-shell。

0