Spark 1.4增加了maxResultSize内存。
21 浏览
Spark 1.4增加了maxResultSize内存。
我正在使用Spark 1.4进行研究，并且在内存设置方面遇到了困难。由于我的机器有16GB的内存，所以这方面没有问题，因为我的文件大小只有300MB。尽管如此，当我尝试使用toPandas()函数将Spark RDD转换为panda dataframe时，我收到以下错误信息：
序列化的9个任务的结果（1096.9 MB）大于spark.driver.maxResultSize（1024.0 MB）
我尝试通过更改spark-config文件来解决这个问题，但仍然收到相同的错误。我听说这是spark 1.4的一个问题，想知道你是否知道如何解决这个问题。非常感谢任何帮助。