我有一个AWS EMR集群(emr-4.2.0,Spark 1.5.2),我正在使用aws cli提交步骤。我的问题是,如果Spark应用程序失败,那么YARN会尝试再次运行应用程序(在同一EMR步骤下)。
我该如何防止这种情况发生?
我尝试设置--conf spark.yarn.maxAppAttempts=1,这个设置在环境/Spark属性中是正确的,但它无法阻止YARN重新启动应用程序。
--conf spark.yarn.maxAppAttempts=1
用户名或电子邮箱地址
密码