保存到hdf5的速度非常慢（Python冻结）

我正在尝试将瓶颈值保存到一个新创建的hdf5文件中。

瓶颈值以大小为(120,10,10,2048)的批次形式出现。

保存一个批次就占用了超过16GB的空间，而且Python似乎在那个批次上冻结了。根据最近的发现（见更新部分），似乎hdf5占用大内存是可以接受的，但冻结部分似乎是一个故障。

我只想测试目的，只保存前2个批次，并且只保存训练数据集（再次强调，这是一个测试运行），但我甚至无法通过第一个批次。它只是在第一个批次处停滞不前，不会循环到下一个迭代。如果我尝试检查hdf5，资源管理器会变得迟钝，Python会冻结。如果我试图关闭Python（即使没有检查hdf5文件），Python无法正确关闭，它会强制重新启动。

以下是相关的代码和数据：

总共的数据点大约有90,000个，以每批120个的形式发布。

瓶颈形状是(120,10,10,2048)

我尝试保存数据集的方式如下：

with h5py.File(hdf5_path, mode='w') as hdf5:
                hdf5.create_dataset("train_bottle", train_shape, np.float32)
                hdf5.create_dataset("train_labels", (len(train.filenames), params['bottle_labels']),np.uint8)
                hdf5.create_dataset("validation_bottle", validation_shape, np.float32)
                hdf5.create_dataset("validation_labels",
                                              (len(valid.filenames),params['bottle_labels']),np.uint8)
 #上述第一部分工作正常
                current_iteration = 0
                print('created_datasets')
                for x, y in train:
                    number_of_examples = len(train.filenames) # 图像数
                    prediction = model.predict(x)
                    labels = y
                    print(prediction.shape) # (120,10,10,2048)
                    print(y.shape) # (120, 12)
                    print('start',current_iteration*params['batch_size']) # 0
                    print('end',(current_iteration+1) * params['batch_size']) # 120
                    hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                    hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels
                    current_iteration += 1
                    print(current_iteration)
                    if current_iteration == 3:
                       break

这是打印语句的输出：

(90827, 10, 10, 2048) # 打印(train_shape)
(6831, 10, 10, 2048)  # 打印(validation_shape)
created_datasets
(120, 10, 10, 2048)  # 打印(prediction.shape)
(120, 12)           # label.shape
start 0             # 批次开始
end 120             # 批次结束
# 在这里停滞不前，没有打印`print(current_iteration)`

它在这里停滞了一段时间（超过20分钟），而hdf5文件的大小慢慢增长（现在大约20GB），然后我强制终止。实际上，我甚至无法通过任务管理器强制终止，我必须重新启动操作系统才能真正终止Python。

更新

在我的代码中稍作调整后，发现了一个奇怪的错误/行为。

相关部分如下：

          hdf5["train_bottle"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = prediction
                hdf5["train_labels"][current_iteration*params['batch_size']: (current_iteration+1) * params['batch_size'],...] = labels

如果我运行这两行中的任意一行，我的脚本将按预期进行迭代，并自动中断。所以如果我运行其中之一，就不会冻结。而且速度相当快，不到一分钟。

如果我运行第一行('train_bottle')，即使只有几个批次，我的内存占用也会达到约69-72GB。如果我尝试更多批次，内存仍然是一样的。所以我猜测train_bottle根据我分配给数据集的大小参数决定了存储空间，而不是实际填充时。

所以尽管有72GB的内存，但运行得相当快（不到一分钟）。

如果我运行第二行train_labels，我的内存占用几兆字节。

迭代没有问题，中断语句也被执行。

然而，现在问题来了，如果我尝试同时运行这两行（在我的情况下需要保存'train_bottle'和'train_labels'两者），我会在第一次迭代上冻结，并且不会继续到第二次迭代，即使过了20分钟。Hdf5文件在慢慢增长，但如果我尝试访问它，Windows资源管理器会变得非常慢，我无法关闭Python - 我必须重新启动操作系统。

所以我不确定在同时运行这两行时有什么问题 - 如果我运行内存占用较大的train_data行，一切都完美地在一分钟内结束。