首页 体育世界正文

RESNET

当ResNet第一次被引入时,它是革命性的,它证明了其时深度神经网络的一个巨大问题的新解决方案:梯度问消失题。神经网络虽然是通用的函数迫临器,但在必定阈值下添加层数会使练习速度变慢,使准确度趋于饱满。

这是由于梯度从终究一层到最早的一层的反向传达——将0到1之间的数字相乘屡次,使其变得越来越小:因而,当抵达较早的一层时,梯度开端“消死神传说txt全集下载失”。这意味着前期的层不只练习速度较慢,并且更简单犯错。这是一个巨大的问题,由于最早的层是整个网络的构建块—EInak—它们担任辨认根本的、中心的特征!

为了缓解这个问题,ResNet采用了identity shortcut connections,它本质上越过一个或多个层的练习 - 创立一个残差块。

单个残差块

然后,作者提出了一个“优化”的残差块,添加了一个称为bottleneck的扩展。它会下降前两个CONV层的维数(在终究千凯千车肉一个CONV层中学习的filters 的1/4),然后在终究一个CONV层中再次添加。这里有两个堆叠在一起的残差模块。

终究,He等人宣布了关于残差模块的第二篇论文,称为Identity Mappings in Deep Residual Networks,它供给了王小羽更好的残差块版别:pre-activation residual model。这答应梯度经过shortcut connections传达到任何较早的层而不受阻止。

咱们不是从卷积(权重)开端,而是从一系列(BN => RELU => CONV)* N层(假定正在运用bottleneck )开端。然后,残差模块输出被馈送到网络中的下一个残差模块的加法运算 (由于残差模块堆叠在互相之上)。

(a)原始bottleneck 残差模块。(e)完好的预激活残差模块。称为预激活,由于BN和ReLU层出现在卷积之前。

全体网络架构看起来像这样,咱们的模型将与之相似。

让咱们开端用Python编写实践的网络。这个详细的完结遭到He等人Caffe发行版和Wei Wu的mxnet洛晴可能否完结的启示。

咱们将把它写成一个类(ResNet),以便咱们稍后在练习深度学习模型时调用它。

# import the necessary packages
from keras.layers.normalization import BatchNormalization
from keras.layers.convolutional import Conv2D
from keras.layers.convolutional import AveragePooling2D
from keras.layers.convolutional import MaxPooling2D
from keras.layers.convolutional import ZeroPadding2D
from keras.layers.core import Activation
from keras.layers.core import Dense
from keras.layers import Flatten
from keras.layers import Input
from keras.models import Model
from keras.layers import add
from keras.regularizers import l2
from keras import backend as K
class ResNet:
@staticmethod
def residual_module(data, K, stride, chanDim, red=False,
reg=0.0001, bnEps=2e-5, bnMom=0.9):

咱们从规范的CNN导入开端,然后开端构建咱们的residual_module函数。看看参数:

  • data:输入到残差模块
  • K:终究一个CONV层将学习的filters数量(前两个CONV层将学习K / 4的filters)
  • st谭芷昀的妈妈个人资料ride:操控卷积的步幅(将协助咱们削减空间维度而不运用最大池)
  • chanDim爱情保卫战20120512:界说将履行批归一化的轴
  • red(即削减)将操控咱们是否削减空间维度(True)或不(False),由于不是一切残差模块都将削减空间体积的维度
  • reg:对残差模块中的一切CONV层运用正则化强度
  • bnEps:操控担任在归一化输入时防止“除宝眼天地以零”过错
  • bnMom:操控移动均匀线的momentum

现在让咱们看看函数的其余部分邓卜方。Python代码如下:

 # the shortcut branch of the ResNet module should 新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲be
# initialize as the input (identity) data
shortcut = data

# the first block of the ResNet module are the 1x1 CONVs
bn1 = BatchNormalization(axis=chanDim, epsilon=bnEps, momentum=bnMom)(data)
act1 = Activation("relu")(bn1)
conv1 = Conv2D(int(K * 0.25), (1, 1), use_bias=False,
kernel_regularizer=l2(reg))(act1)

首要,咱们初始化 (identity) shortcut (connection),它实践上仅仅对输入数据的引证。在残差模块的结尾,咱们只需将shortcu吴俊匡t 添加到咱们的预激活/bottleneck 分支(第3行)的输出中。

在第6-9行,ResNet模块的第一个块遵从BN ==> RELU ==> CONV ==>pattern。CONV层经过K / 4 filters运用1x1卷积。请留意,CONV层的误差项已封闭,由于误差现已鄙人面的BN层中,因秘爱豪门小太太此不需求第二个误差项。

 # the second block of the ResNet module are the 3x3 CONVs
bn2 = BatchNormalization(新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲axis=chanDim, epsilon=bnEps, momentum=bnMom)(conv1)
act2 = Activation("relu")(bn2)
conv2 = Conv2D(int(K * 0.25), (3, 3), strides=stride, padding="same", use_bias=False,
娜娜sweetkernel_regularizer=l2(reg)(act2)

第二个CONV层学习3 x 3的K / 4 filters。

 # the 新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲third block of the ResNet module is another set of 1x1 CONVs
bn3 = BatchNormalization(axis=chanDim, epsilon=bnEps,momentum=bnMom)(conv2)
act3 = Activation("relu")(bn3)
conv3 = Conv2D(K, (1, 1), use_bias=False, kernel_regularizer=l2(reg))(act3)

终究一个块将再次添加维度,运用尺度为1 x 1的K filters。

为防止运用最大池化,咱们需求查看是否需求削减空间维度。

 # if we are to reduce the spatial size, apply a CONV layer to the shortcut
if red:
shortcut = C女孩白袜onv2D(K, (1, 1), strides=stride, use_bias=Fal新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲se,
ke康清明rnel_regularizer=l2(reg))(act1)
# add together the shortcut and the final CONV
x = add([conv3, shortcut])
# return the addition as the output of the ResNet module
return x

假如咱们被指令减小空间尺度,则stride > 1的卷积层将运用于shortcut(第2-4行)。

终究,咱们将shortcut和终究姐姐好CONV层相加,创立输出到咱们的ResNet模块(第7行)。咱们总算有了“构建模块”来开端构建咱们的深度残差网络。

让咱们开端构建构建办法。

 @staticmethod
def build(width, height, depth, classes, stages, filters,
reg=0.0001, bnEps=2e-5, bnMom=0.9):

看一下参数stagesfilters (两个都是列表)。在咱们的架构中(如上所示),咱们将N个残差模块堆叠在一起(N =stage value)。同一st95117怎样转人工age 中的每个残差模块学习相同数量的filters。在每个stage 学习其各自的filters之后,接着是降维。咱们重复这个进程,直到咱们预备运用均匀池化层和softmax分类器。

Stages 和Filters

例如,让咱们设置stages=(3,4,6)和filters =(64,128,256,512)。第一个filter 新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲(64)运用于仅有的CONV层,而不是残差模块的一部分 - 网络中的第一个CONV层。然后,三个(stages凌小松= 3)残差模块堆叠在互相之上 - 每个模块将学习128个filters。空间维度将削减,然后咱们将四个(stage = 4)残差模块堆叠在一起 - 每个模仿256个filters。终究,咱们再次削减空间维度,持续将六个(stage = 6)残差模块堆叠在一起,每个模块学习512个过滤器。

ResNet架构。带圆圈的数字是filter值,而括号显现stage 。留意每个stage 后怎么下降维数。

让咱们回到构建构建办法。

 # initialize the in魏英洛put shape to be "channels last" and the
# channels dimension itself
inputShape = (height, width, depth)
chanDim = -1
# if we are using "channels first", update the input shape
# and channels dimension
if K.image_data_format() == "channels_first":
inputShape = (depth, height, width)
chanDim = 1

依据咱们是运用“channel last”仍是“channel first”排序(第3-4行)初始化inputShape和chanDim。

  # set the input and apply BN
inputs = Input(shape=inputShape)
x = BatchNormalization(axis=chanDim, epsilon=bnEps,
momentum=bnMom)(inputs)
# apply CONV => BN => ACT => POOL to reduce spatial size
x = Conv2D(filters[0], (5, 5), use_bias=False,
padding="same", kernel_regularizer=l2(reg))(x)
x = BatchNormalization(axis=chanDim, epsilon=bnEps,
momentum=bnMom)(x)
x = Activation("relu")(x)
x = ZeroPadding2D((1, 1))(x)
x = Max新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲Pooling2D((3, 3), strides=(2, 2))(x)

如上所述,ResNet运用BN作为第一层作为输入归一化的附加等级(第2-4行)。然后,咱们运用CONV =>,BN => ACT => POOL来减小空间巨细(第7-13行)。现在,让咱们开端将残差层堆叠在一起。

 # loop over the number of stages
for i in range(0, len(stages)):
# initialize the stride, then apply a residual module
# used to reduce the spatial size of the input volume
stride = (1, 1) if i == 0 else (2, 2)
x = ResNet.residual_module(x, filters[i + 1], stride,
chanDim, red=True, bnE男模7ps=bnEps, bnMom=bnMom)
# loop over the number of layers in the stage
for j in range(0, stages[i] - 1):
# apply a ResNet module
x = ResNet.residual_module(x, filters[i + 1],
(1, 1), chanDim, bnEps=bnEps, bnMom=bnMom)

为了在不运用池化层的情况下减小体积巨细,咱们能够改动卷积的步幅。stage中的第一个条目将具有(1,1)的步幅 - 表明没有下采样。然后,在此之后的每个stage,咱们将运用具有(2,2)步幅的残差模块,这将减小体积巨细。这在第5行显现。

然后,咱们在第10-13行循环遍历当时stage的层数(将堆叠在互相之上的残差模块的数量)。咱们运用[i + 1]作为filters的索引,由于现已运用了第一个filter。一旦咱们将stage[i]残差模块堆叠在互相之上,咱们将返回到第6-7行,在那新加坡航空,从头开端运用Python完结ResNet模型,世上只要妈妈好歌曲里咱们减小体积的空间维度并重复该进程。

为防止dense的全衔接层,咱们将运用均匀池化而不是将卷巨细减小到1 x 1 x classes:

 # apply BN => ACT => POOL
x = BatchNormalization(axis=chanDim, epsilon=bnEps,
momentum=bnMom)(x)
x = Activation("relu")(x)
x = AveragePooling2D((8, 8))(x)

终究,咱们将为咱们要学习的类的总数创立一个dense层,然后运用softmax激活来生成咱们的终究输出概率!

 # softmax classifier
x = Flatten()(x)
x = Dense(classes, kernel_regularizer=l2(reg))(x)
x = Activation("softmax")(x)

# create the model
model = Model(inputs, x, name="resnet")

# return the constructed network architecture
return model

现在咱们现已彻底构建了ResNet模型!您能够调用此类在深度学习项目中完结ResNet体系结构。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。