如何设置 Spark 执行器的数量？

11 浏览
0 Comments

如何设置 Spark 执行器的数量？

我该如何通过Java（或Scala）代码配置SparkConfig和SparkContext中的执行器数量？我一直看到只有2个执行器。看起来spark.default.parallelism不起作用，而且与其他内容有关。

我只需要将执行器数量设置为与集群大小相等，但始终只有2个。我知道我的集群大小。如果这有关系，我在YARN上运行。

0