如何阻止 EMR Spark 步骤的重试?

7 浏览
0 Comments

如何阻止 EMR Spark 步骤的重试?

我有一个AWS EMR集群(emr-4.2.0,Spark 1.5.2),我正在使用aws cli提交步骤。我的问题是,如果Spark应用程序失败,那么YARN会尝试再次运行应用程序(在同一EMR步骤下)。

我该如何防止这种情况发生?

我尝试设置--conf spark.yarn.maxAppAttempts=1,这个设置在环境/Spark属性中是正确的,但它无法阻止YARN重新启动应用程序。

0