ChatGPT解决这个技术问题 Extra ChatGPT

当图像大小不同时,如何格式化图像数据以进行训练/预测?

我正在尝试训练对图像进行分类的模型。我的问题是,它们的尺寸不同。我应该如何格式化我的图像/或模型架构?

请展示您迄今为止尝试过的内容以及似乎对您不起作用的内容。
并且 bam 那里是 Inception v4 的代码。我不同意这种现成的评论。多一点输入会很好——比如我们正在谈论什么样的网络——但反对票根本没有道理。这是一个真正的问题。
问题是 ImageNet 如何格式化他们的图像数据以便对训练有用?

G
Gant Laborde

你没有说你在谈论什么架构。既然您说要对图像进行分类,我假设它是一个部分卷积、部分全连接的网络,如 AlexNet、GoogLeNet 等。一般而言,您的问题的答案取决于您使用的网络类型。

例如,如果您的网络仅包含卷积单元 - 也就是说,不包含完全连接的层 - 它可以不受输入图像大小的影响。这样的网络可以处理输入图像,然后返回另一个图像(“一直卷积”);您必须确保输出符合您的预期,因为您必须以某种方式确定损失,当然。

但是,如果您使用的是完全连接的单元,那么您就有麻烦了:在这里,您的网络必须使用固定数量的学习权重,因此不同的输入将需要不同数量的权重 - 这是不可能的。

如果这是您的问题,您可以执行以下操作:

不要关心压缩图像。无论如何,网络可能会学会理解内容。规模和视角对内容有什么意义吗?

将图像居中裁剪为特定大小。如果您担心丢失数据,请进行多次裁剪并使用它们来扩充您的输入数据,以便将原始图像拆分为 N 个大小正确的不同图像。

用纯色填充图像到平方大小,然后调整大小。

做一个组合。

填充选项可能会为网络的预测引入额外的错误源,因为网络可能(阅读:可能会)偏向于包含这种填充边界的图像。如果您需要一些想法,请查看 TensorFlow 文档的 Images 部分,其中有 resize_image_with_crop_or_pad 之类的部分可以帮助您完成更大的工作。

至于只是不关心挤压,here's 著名的 Inception 网络的一段预处理管道:

# This resizing operation may distort the images because the aspect
# ratio is not respected. We select a resize method in a round robin
# fashion based on the thread number.
# Note that ResizeMethod contains 4 enumerated resizing methods.

# We select only 1 case for fast_mode bilinear.
num_resize_cases = 1 if fast_mode else 4
distorted_image = apply_with_random_selector(
    distorted_image,
    lambda x, method: tf.image.resize_images(x, [height, width], method=method),
    num_cases=num_resize_cases)

他们完全意识到这一点,并且无论如何都会这样做。

根据您想要或需要走多远,实际上有一篇名为 Spatial Pyramid Pooling in Deep Convolution Networks for Visual Recognition 的论文here通过以非常特殊的方式处理任意大小的输入来处理它们方法。


当您处理对象检测和实例分割时,这个主题似乎要复杂得多,因为如果您有一个图像大小差异很大的数据集,锚框大小也是超参数需要调整。
纵横比对于区分圆形和椭圆的网络起着非常重要的作用。
另一个普遍的观察是批次不一定必须具有相同的尺寸。第一批可以处理 4:3 图像,第二批可以处理 16:9 等,只要注意密集层。
@Tobitor,始终使网络的输入尽可能接近实际(测试或推理时间)数据。如果您的所有图像都比高宽得多,您还应该对您的网络进行建模以像这样处理您的图像。也就是说,如果您无法说出您的“使用”数据会是什么样子,那么您必须在训练期间做出一些牺牲。在这种情况下,将图像的大小从 1000x200 调整为 256x256 通常是可以的(想象以 60 度角看那个车牌——它现在非常大致正方形)。
@Tobitor 根本不需要图像是正方形的,如果您在推理过程中不知道实际图像大小,这恰好是最不坏的权衡。 :^) 至于尺寸,越小越好,但图像需要足够大才能捕捉到所需的最精细细节——一般来说,请记住,如果您作为人类专家,可能无法确定图像中的内容图像,网络也将无法。
P
Pranay Mukherjee

尝试制作一个空间金字塔池化层。然后将其放在最后一个卷积层之后,以便 FC 层始终获得恒定维度向量作为输入。在训练期间,使用一个时期的特定图像大小训练来自整个数据集的图像。然后对于下一个 epoch,切换到不同的图像大小并继续训练。


与常规池相比,您能否详细说明什么是“空间金字塔池”?
请阅读 blog.acolyer.org/2017/03/21/convolution-neural-nets-part-2 @Matthieu 中用于视觉识别的深度卷积网络中的空间金字塔池