通过AWS CLI将DynamoDB表导出为CSV（不使用管道）

6 浏览
0 Comments

通过AWS CLI将DynamoDB表导出为CSV（不使用管道）

我刚开始使用AWS CLI，想将我的DynamoDB表以CSV格式导出，以便直接导入到PostgreSQL中。有没有办法使用AWS CLI来实现这个目标？

我看到了这个命令：aws dynamodb scan --table-name ，但是这个命令没有提供CSV导出选项。

使用这个命令，我可以在终端中看到输出结果，但是我不知道如何将其写入文件中。

0

3 答案

0 Comments

问题的出现原因：

用户想要通过AWS CLI将DynamoDB表导出为CSV文件，但是没有使用管道（pipeline）的方法。用户在stackoverflow上找到了一个解决方法，但是该方法只能导出字符串类型的字段，对于数字类型的字段无法导出。

解决方法：

用户在stackoverflow上找到了一个更好的解决方法，可以导出所有列而不需要逐个列出。该方法使用了AWS CLI的scan命令来扫描表，并使用了jq命令来处理数据。下面是具体的解决方法：

aws dynamodb scan --table-name my-table --select ALL_ATTRIBUTES --page-size 500 --max-items 100000 --output json | jq -r '.Items' | jq -r '(.[0] | keys_unsorted) as $keys | $keys, map([.[ $keys[] ].S])[] > export.my-table.csv

然而，该方法只对字符串类型的字段有效，对于集合类型的字段无法导出。如果字段是集合类型，需要使用其他方法来解决。

另外，如果字段包含波斯字符等非ASCII字符，整列数据可能会被跳过。为了解决这个问题，用户改进了jq命令，并提供了一个支持所有类型的版本。下面是改进后的jq命令：

jq -r '.Items' | jq -r '(.[0] | keys_unsorted) as $keys | $keys, map([.[ $keys[] ] | to_entries[] | [.value][0]])[] > export.my-table.csv

用户表示该方法对于自己来说可以直接使用，只需要修改表名即可。这个方法在stackoverflow上被评为最佳答案。

0
0 Comments

原因：问题的提出是因为用户想要将一个DynamoDB表导出为CSV文件，但是不希望使用管道操作。

解决方法：以下是两种解决方法：

1. 使用AWS CLI进行导出：

aws dynamodb scan \
    --table-name mytable \
    --query "Items[*].[id.S,name.S]" \
    --output text > output.txt

这个命令会输出以制表符分隔的结果，可以使用重定向操作符`>`将结果保存到文件中。然后可以很容易地将制表符转换为逗号，从而得到CSV文件。

需要注意的是，如果扫描的项目总数超过1MB的数据集大小限制，扫描操作会停止，并将结果返回给用户作为LastEvaluatedKey值，以便在后续操作中继续扫描。结果还包括超过限制的项目数。扫描操作可能导致没有符合筛选条件的表数据。

2. 使用DynamoDBtoCSV项目：

可以使用DynamoDBtoCSV项目在github上进行导出。关于如何使用该项目的详细信息可以在DynamoDBtoCSV的github页面上找到。

其他注意事项：

- 如果所有项目具有相同的属性，但数据类型不同，可以在查询中提供相应的数据类型，例如：name.S, zipcode.N, isawesome.B。

- 根据所提供的文档，扫描操作实际上会隐式地限制返回的结果数量，但也可以使用`--max-items N`参数来限制返回的结果数量。

- 在导出大量数据时，性能的关键因素是表的预配读取容量（RCU）。可以临时增加预配读取容量，进行导出操作，然后再降低预配读取容量。

- 如果某些项目中缺少某些列，则以上解决方法可能无法正常工作。

希望对你有所帮助！

0
0 Comments

导出 DynamoDB 表格为 CSV 文件是一种常见的需求，但在 AWS CLI 中直接导出并转换为 CSV 是比较复杂的。下面是一种解决方法：

首先，我们可以使用 AWS CLI 扫描 DynamoDB 表格并将结果以 JSON 格式输出到文件中。根据是否是本地 DynamoDB 或者远程 DynamoDB，命令略有不同：

对于本地 DynamoDB，命令如下：

$aws dynamodb scan --table-name AOP --region us-east-1 --endpoint-url http://localhost:8000 --output json > /home/ohelig/Desktop/a.json

对于远程 DynamoDB，命令如下：

$aws dynamodb scan --table-name AOP --region us-east-1 --output json > /home/ohelig/Desktop/a.json

然后，我们需要将 JSON 文件转换为 CSV 格式。这里我们可以使用一些工具或编程语言来实现。根据个人喜好和项目需求，可以选择使用 Python、Node.js、Java 等编程语言进行转换。

以上就是解决问题的方法。通过使用 AWS CLI 扫描 DynamoDB 表格并将结果输出为 JSON 文件，再通过其他工具或编程语言将 JSON 转换为 CSV，我们可以实现将 DynamoDB 表格导出为 CSV 文件的需求。

0