关于tensorflow:完全连接层尺寸

Fully Connected Layer dimensions

关于卷积神经网络的全连接层,我有一些不确定性。可以说输入是卷积层的输出。我了解上一层是扁平的。但是它可以有多个渠道吗? (例如,全连接层的输入可以为16x16x3(3通道,被展平为768个元素的向量吗?)

接下来,我了解输出的等式是

1
outputs = activation(inputs * weights' + bias)

每个输入是否有1个权重? (例如,在上面的示例中,将有768个权重吗?)

接下来,有多少个偏见?每个频道1个(所以3个)? 1不管什么?还有别的吗

最后,过滤器如何在完全连接的层中工作?可以超过1个吗?


您可能对完全连接的神经网络的工作方式有误解。为了更好地理解它,您可以随时查看一些不错的教程,例如斯坦福大学在线课程

要回答第一个问题:是的,无论您有什么尺寸,都需要先将其展平,然后再发送到完全连接的图层。

要回答第二个问题,您必须了解完全连接的层实际上是矩阵相乘然后进行矢量加法的过程:

input^T * weights + bias = output

,其中输入的尺寸为1xIN,权重的尺寸为INxOUT,输出的尺寸为1xOUT,因此,您的尺寸为1xIN * INxOUT = 1xOUT。总共,您将拥有INxOUT权重,每个输入都有OUT权重。您还将需要OUT偏置,这样整个方程为1xIN * INxOUT 1xOUT(偏置项)。

没有卷积,因为您没有进行卷积。

请注意,完全连接的层也等于1x1卷积层,许多实现稍后将其用于完全连接的层,这对于初学者可能会造成混淆。有关详细信息,请参考HERE