关于lua:如何异步加载和训练批次以训练深度学习模型?

How to asynchronously load and train batches to train a DeepLearning model?

我有3TB数据集和64GB RAM,以及12个核心CPU和一个12GB GPU。希望在该数据集上训练深度学习模型。如何具有批处理的异步加载和模型训练?我要确保数据的磁盘加载不会阻塞训练循环,以等待新批次加载到内存中。

我不依赖语言,并且最简单的库可以无摩擦地胜出,但是我更喜欢割炬,pytorch,张量流之一。


我们使用Keras(tensorflow后端)通过上述@ mo-hossny(不是"绑在Imagenet文件夹结构")解决了此问题,并在此处进行了详细介绍。

简短摘要:大多数ML教程都显示了目录结构,其中子目录隐含了训练(和测试)示例的类。例如,您可能会看到子目录和文件,例如data/train/cats/???.pngdata/train/dogs/???.png等。

如果相反,您创建了一个简单的Pandas DataFrame来保存每个训练/测试样本的唯一ID,类标签和文件路径,那么您可以在每个纪元开始时随机播放此DataFrame,并以小批量和使用生成器将每个块发送到GPU。在后台,CPU使块队列保持满,等待其完成当前批处理后立即将每个后续块发送给GPU。

这样的DataFrame的一个例子是:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
df

       object_id   bi  multi                                    path
index                                                              
 0        461756  dog  white    /path/to/imgs/756/61/blah_461756.png
 1       1161756  cat  black   /path/to/imgs/756/61/blah_1161756.png
 2       3303651  dog  white   /path/to/imgs/651/03/blah_3303651.png
 3       3367756  dog   grey   /path/to/imgs/756/67/blah_3367756.png
 4       3767756  dog   grey   /path/to/imgs/756/67/blah_3767756.png
 5       5467756  cat  black   /path/to/imgs/756/67/blah_5467756.png
 6       5561756  dog  white   /path/to/imgs/756/61/blah_5561756.png
 7      31255756  cat   grey  /path/to/imgs/756/55/blah_31255756.png
 8      35903651  cat  black  /path/to/imgs/651/03/blah_35903651.png
 9      44603651  dog  black  /path/to/imgs/651/03/blah_44603651.png
10      49557622  cat  black  /path/to/imgs/622/57/blah_49557622.png
11      58164756  dog   grey  /path/to/imgs/756/64/blah_58164756.png
12      95403651  cat  white  /path/to/imgs/651/03/blah_95403651.png
13      95555756  dog   grey  /path/to/imgs/756/55/blah_95555756.png

我已经包含了该问题的二项式和多项式版本的标签,这确实证明了相同的DataFrame和文件可以在不同的分类设置中使用。

一旦您执行了此操作,Keras生成器代码就会非常简短,甜美:

1
train_generator = generator_from_df(df, batch_size, target_size)

其中df与我上面的示例相似,并且在此处定义了函数generator_from_df()。它只是以给定大小的块循环遍历df。读取,规范化和连接在块行中指定的像素数据;并最终生成(因此生成器)X(像素)和Y(标签)数据。它的核心与以下内容非常相似:

1
2
3
4
5
6
7
8
9
10
11
12
13
i, j = 0, batch_size
for _ in range(nbatches):
    sub = df.iloc[i:j]
    X = np.array([
        (2 *
         (img_to_array(load_img(f, target_size=target_size))
          / 255.0 - 0.5))
        for f in sub.imgpath])
    Y = sub.target.values
    yield X, Y
    i = j
    j += batch_size
    count += 1

请注意文章中的引用和代码:我们在Keras页面和此处的Stackoverflow上汇总了其他人的有用提示。


如果您不希望绑定到Imagenet文件夹结构,则可以在每个框架中开发自己的数据加载器。 pytorch示例代码可从https://stackoverflow.com/a/45102798/7387369获得。在训练时它将加载下一批。将num_workers设置为要并行运行的线程数。


您尝试使用任何可用的Imagenet代码吗?

  • Tensorflow:https://github.com/tensorflow/models/tree/master/inception
  • 火炬:https://github.com/soumith/imagenet-multiGPU.torch
  • pytorch:https://github.com/pytorch/examples/tree/master/imagenet
  • 以指定的格式准备数据。

    您不是要这些吗?