使用Python将文件上传到S3

12 浏览
0 Comments

使用Python将文件上传到S3

我有一个文件URL列表，其中包含下载链接。我已经编写了Python代码将这些文件下载到我的计算机上。问题是，列表中大约有500个文件，下载大约50个文件后，Chrome变得无响应。我最初的目标是将我下载的所有文件上传到S3的Bucket中。有没有办法让文件直接上传到S3呢？这是我目前写的代码：

import requests
from itertools import chain
import webbrowser
url = ""
username = ""
password = ""
headers = {"Content-Type":"application/xml","Accept":"*/*"}
response = requests.get(url, auth=(username, password), headers = headers)
if response.status_code != 200:
    print('状态:', response.status_code, '头部:', response.headers, '错误响应:', response.json())
    exit()
data = response.json()
values = list(chain.from_iterable(data.values()))
links = [lis['download_link'] for lis in values]
for item in links:
    webbrowser.open(item)

0

2 答案

0 Comments

问题出现的原因是想要使用Python将文件上传到S3，但是不想导入Boto3库。解决方法是使用subprocess库调用AWS命令行工具（aws cli）来实现文件上传。以下是解决方法的代码示例：

import subprocess
def copy_file_to_s3(source: str, target: str, bucket: str):
   subprocess.run(["aws", "s3" , "cp", source, f"s3://{bucket}/{target}"])

使用这种方法可以实现所有AWS客户端操作，如下载文件、列出文件等。使用这种方法还可以在控制台中显示上传的状态。为了根据自己的需求修改该方法，建议参考subprocess库和AWS Cli的参考文档。

0
0 Comments

问题：如何使用Python将文件上传到S3？

原因：

- 用户可能需要将本地文件上传到AWS S3存储桶中，以便在云端进行存储和管理。

- 使用Python进行文件上传可以简化操作，并且可以通过编程方式自动化上传过程。

解决方法：

1. 安装Python3和boto3库。

2. 导入boto3库并创建S3客户端。

3. 使用open()函数打开要上传的文件，并使用rb模式读取二进制数据。

4. 使用S3客户端的upload_fileobj()方法将文件上传到指定的存储桶。

5. 在upload_fileobj()方法中，将打开的文件对象、存储桶名称和目标文件名作为参数传递。

6. 运行Python脚本，文件将被上传到S3存储桶中。

示例代码：

import boto3
s3 = boto3.client('s3')
with open('filename.txt', 'rb') as data:
    s3.upload_fileobj(data, 'bucketname', 'filenameintos3.txt')

更多信息：

有关更多详细信息，可以查阅boto3文档：

http://boto3.readthedocs.io/en/latest/guide/s3-example-creating-buckets.html

通过以上步骤，您可以使用Python将文件上传到S3存储桶。享受便捷的文件上传和管理吧！

0