我认为最简单的方法是每个生成器加载部分图像，并重复调用.fit_generator()以获得更小的批次。

此示例使用`random.random（）`选择要加载的图像-您可以使用更复杂的东西。

之前的版本使用random.random()，但我们同样可以使用起始索引和页面大小来循环遍历图像列表，使其永远循环。

import itertools
def load_images(start_index, page_size):
    images = []
    for index in range(page_size):
        # Generate index using modulo to loop over the list forever
        index = (start_index + index) % len(rows)
        row = MyIndex[index]
        img_path = basePath + row["ImageName"]
        img = image.load_img(img_path, target_size=(299, 299))
        img_data = image.img_to_array(img)
        images.append(img_data)
    return images
def generate_datagen(batch_size, start_index, page_size):
    images = load_images(start_index, page_size)
    # ... everything else you need to get from images to trainX and trainY, etc. here ...
    datagen = ImageDataGenerator(
        rotation_range=90,
        horizontal_flip=True,
        vertical_flip=True,
        width_shift_range=0.25,
        height_shift_range=0.25,
    )
    datagen.fit(trainX, augment=True)
    return (
        trainX,
        trainY,
        valX,
        valY,
        datagen.flow(trainX, trainY, batch_size=batch_size),
    )
model.compile(
    loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"]
)
page_size = (
    500
)  # load 500 images at a time; change this as suitable for your memory condition
for page in itertools.count():  # Count from zero to forever.
    batch_size = 128
    trainX, trainY, valX, valY, generator = generate_datagen(
        128, page * page_size, page_size
    )
    model.fit_generator(
        generator,
        epochs=5,
        steps_per_epoch=trainX.shape[0] // batch_size,
        validation_data=(valX, valY),
    )
    # TODO: add a `break` clause with a suitable condition

我认为你应该看看这篇文章

你要找的是Keras flow_from_dataframe功能，它可以通过在DataFrame中提供文件名和标签以及提供包含所有图像的顶层目录路径来从磁盘加载批次。

稍微修改你的代码并借鉴一些链接共享的代码：

MyIndex=pd.read_table('./MySet.txt')
Classes=MyIndex['ClassName']
OutputClasses=Classes.unique().tolist()
trainDf=MyIndex[['ImageName','ClassName']]
train, test = train_test_split(trainDf, test_size=0.10, random_state=1)
#creating a data generator to load the files on runtime
traindatagen=ImageDataGenerator(rotation_range=90,horizontal_flip=True,vertical_flip=True,width_shift_range=0.25,height_shift_range=0.25,
    validation_split=0.1)
train_generator=traindatagen.flow_from_dataframe(
    dataframe=train,
    directory=basePath,#the directory containing all your images
    x_col='ImageName',
    y_col='ClassName',
    class_mode='categorical',
    target_size=(299, 299),
    batch_size=batch_size,
    subset='training'
)
#Also a generator for the validation data
val_generator=traindatagen.flow_from_dataframe(
    dataframe=train,
    directory=basePath,#the directory containing all your images
    x_col='ImageName',
    y_col='ClassName',
    class_mode='categorical',
    target_size=(299, 299),
    batch_size=batch_size,
    subset='validation'
)
STEP_SIZE_TRAIN=train_generator.n//train_generator.batch_size
STEP_SIZE_VALID=val_generator.n//val_generator.batch_size
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit_generator(generator=train_generator, steps_per_epoch=STEP_SIZE_TRAIN,
                    validation_data=val_generator,
                    validation_steps=STEP_SIZE_VALID,
                    epochs=500)

还要注意，现在你不需要在原始代码中编码标签，并省略图像加载代码。

我没有使用过这段代码，所以请尝试修复您可能遇到的任何错误，因为主要重点是向您提供基本思路。

回复你的评论：

如果您的所有文件都在不同的目录中，则一种解决方法是将ImageName存储相对路径以包括中间目录作为路径的文件名，例如'./Dir/File.jpg'，然后将所有目录移动到一个文件夹中并将其用作基本路径，其他所有内容保持不变。

此外，查看加载文件的代码段发现您已将文件路径存储在ImageName列中，因此推荐的方法适用于您。

images=[]
for index, row in MyIndex.iterrows():
    img_path=basePath+row['ImageName']
    img = image.load_img(img_path, target_size=(299, 299))
    img_path=None
    img_data = image.img_to_array(img)
    img=None
    images.append(img_data)
    img_data=None

如果仍然存在一些模糊，可以随时再次询问。