Apache Spark: Limit number of executors used by Spark App
是否可以限制一个应用程序在Spark上使用的执行程序的数量?我可以使用
这使它无法同时在群集上运行其他作业。谷歌搜索使我知道解决方案,但是
1 | spark.dynamicAllocation.maxExecutors=infinity |
此属性默认为无穷大,您可以设置此属性以限制执行程序的数量。
是否可以限制一个应用程序在Spark上使用的执行程序的数量?我可以使用
这使它无法同时在群集上运行其他作业。谷歌搜索使我知道解决方案,但是
1 | spark.dynamicAllocation.maxExecutors=infinity |
此属性默认为无穷大,您可以设置此属性以限制执行程序的数量。