在pyspark Dataframe中添加新行

18 浏览
0 Comments

在pyspark Dataframe中添加新行

我是一个新手pyspark,但对于pandas很熟悉。

我有一个pyspark Dataframe

# 实例化Spark
spark = SparkSession.builder.getOrCreate()
# 创建一些测试数据
columns = ['id', 'dogs', 'cats']
vals = [
     (1, 2, 0),
     (2, 0, 1)
]
# 创建DataFrame
df = spark.createDataFrame(vals, columns)

想要添加新的行(4,5,7) 以便输出为:

df.show()
+---+----+----+
| id|dogs|cats|
+---+----+----+
|  1|   2|   0|
|  2|   0|   1|
|  4|   5|   7|
+---+----+----+

0