使用Spark将列转置为行

14 浏览
0 Comments

使用Spark将列转置为行

我正在尝试将我的表格中的一些列转置为行。

我正在使用Python和Spark 1.5.0。这是我的初始表格：

+-----+-----+-----+-------+

| A |col_1|col_2|col_...|

+-----+-------------------+

| 1 | 0.0| 0.6| ... |

| 2 | 0.6| 0.7| ... |

| 3 | 0.5| 0.9| ... |

| ...| ...| ...| ... |

我想要得到这样的结果：

+-----+--------+-----------+
|  A  | col_id | col_value |
+-----+--------+-----------+
|  1  |   col_1|        0.0|
|  1  |   col_2|        0.6|   
|  ...|     ...|        ...|    
|  2  |   col_1|        0.6|
|  2  |   col_2|        0.7| 
|  ...|     ...|        ...|  
|  3  |   col_1|        0.5|
|  3  |   col_2|        0.9|
|  ...|     ...|        ...|

有人知道我该如何做吗？谢谢您的帮助。

0