在Pandas中追加大量Excel文件的最快方法

12 浏览
0 Comments

在Pandas中追加大量Excel文件的最快方法

我目前有这段代码。它完美地工作。

它会循环遍历文件夹中的Excel文件，

删除前两行，然后将它们保存为单独的Excel文件，

同时也将循环中的文件保存为追加文件。

目前，每次运行代码时追加文件会覆盖现有文件。

我需要将新数据追加到已存在的Excel表格('master_data.xlsx')的底部。

dfList = []
path = 'C:\\Test\\TestRawFile' 
newpath = 'C:\\Path\\To\\New\\Folder'
for fn in os.listdir(path): 
  # 获取绝对文件路径
  file = os.path.join(path, fn)
  if os.path.isfile(file): 
    # 导入Excel文件并命名为xlsx_file 
    xlsx_file = pd.ExcelFile(file) 
    # 查看Excel文件的工作表名称 
    xlsx_file.sheet_names 
    # 将xlsx文件的数据工作表加载为数据帧 
    df = xlsx_file.parse('Sheet1',header= None) 
    df_NoHeader = df[2:] 
    data = df_NoHeader 
    # 保存单独的数据帧
    data.to_excel(os.path.join(newpath, fn))
    dfList.append(data) 
appended_data = pd.concat(dfList)
appended_data.to_excel(os.path.join(newpath, 'master_data.xlsx'))

我以为这是个简单的任务，但看来不是。

我认为我需要将master_data.xlsx文件作为数据帧导入，然后将索引与新的追加数据匹配，并将其保存回去。或者也许有更简单的方法。任何帮助都将不胜感激。

0