关于pyspark:Apache Spark:Spark App使用的执行程序数量限制

Apache Spark: Limit number of executors used by Spark App

是否可以限制一个应用程序在Spark上使用的执行程序的数量?我可以使用spark.executor.instances设置执行程序的初始数量,但是稍后在我的应用中,Spark似乎会自己添加它可以添加的所有可用执行程序。

这使它无法同时在群集上运行其他作业。谷歌搜索使我知道解决方案,但是spark.cores.max似乎对限制执行者的总数似乎无效...


1
spark.dynamicAllocation.maxExecutors=infinity

此属性默认为无穷大,您可以设置此属性以限制执行程序的数量。