如何更改Amazon S3存储桶中的文件路径名称?

7 浏览
0 Comments

如何更改Amazon S3存储桶中的文件路径名称?

我有大约900个对象,结构如下:

s3/bucketname/INGESTIONDATE=2022-02-20/file.csv
s3/bucketname/INGESTIONDATE=2022-02-21/file.csv
s3/bucketname/INGESTIONDATE=2022-02-22/file.csv

等等...

我需要将文件路径更改为:

s3/bucketname/ingest_date=2022-02-20/file.json
s3/bucketname/ingest_date=2022-02-21/file.json
s3/bucketname/ingest_date=2022-02-22/file.json

由于有大约900个对象,我不打算通过控制台手动操作。

另外,对于JSON转换,我不太在意,我可以处理。主要是改变文件路径并复制到新的存储桶。

有什么建议吗?

0
0 Comments

问题的出现原因:

这个问题的出现是因为在Amazon S3存储桶中,文件路径名包含了特定的字符串"INGESTIONDATE",需要将其替换为"ingest_date",并且将文件的后缀从"csv"改为"json"。然而,由于文件路径名中可能存在空格和换行符等特殊字符,所以现有的解决方法无法正确处理这些情况,导致出现问题。

解决方法:

为了解决这个问题,可以使用aws cli命令行工具来进行操作。具体的解决方法如下:

1. 使用aws s3 ls s3://bucketname/命令列出存储桶中的文件列表;

2. 使用awk '{print $4}'命令提取文件名,并通过while read f循环遍历每个文件名;

3. 使用newf=${f//INGESTIONDATE/ingest_date/}命令将文件名中的"INGESTIONDATE"替换为"ingest_date",并将结果存储在newf变量中;

4. 使用aws s3 mv s3://bucketname/${f} s3://bucketname/${newf%???}json命令将文件的后缀从"csv"改为"json",其中${newf%???}表示去掉文件名最后3个字符;

5. 通过循环迭代处理所有文件;

6. 为了测试,可以使用--dry-run参数运行aws mv命令,以查看实际执行的mv命令。

需要注意的是,这种解决方法仍然无法正确处理文件路径名中包含空格和换行符等特殊字符的情况。

0