pytorch05:卷积、池化、激活

一、卷积

1.1 卷积的概念

卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加
卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。
卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取。

1.2 卷积可视化

AlexNet这篇论文对卷积核进行了可视化，发现卷积核学习到的是边缘，条纹，色彩这一些细节模式，但是只有前几层卷积提取的特征可视化较为明显，随着网络的加深，卷积次数的增加，特征可视化也逐渐模糊。

1.3 卷积的维度

卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积，下面三幅图分别是一维卷积、二维卷积、三维卷积。我们常见的图片特征提取使用的是二维卷积（conv2d），在医学图像领域用于癌细胞切片分析使用的是三维卷积（conv3d）。

1.4 nn.Conv2d

功能：对多个二维信号进行二维卷积，例如图片
主要参数：
? in_channels：输入通道数
? out_channels：输出通道数，等价于卷积核个数
? kernel_size：卷积核尺寸
? stride：步长，卷积核每次移动的长度
? padding ：图片边缘填充个数
? dilation：空洞卷积大小，常用于图像分割任务，用来提升感受野
? groups：分组卷积设置
? bias：偏置

1.4.1 无padding 无stride卷积

每次在原图滑动1个单位

1.4.2 无padding stride=2卷积

每次在原图滑动两个单位

1.4.3 padding=2的卷积

在原图的边缘增加2个单位的填充。

1.4.4 空洞卷积

1.4.5 分组卷积

同一种张图片使用两个不同的GPU进行训练，最后将两张GPU提取的特征进行融合。

1.5 卷积输出尺寸计算

完整尺寸计算公式：

一般我们输入的图像都会进行预处理，将长宽变为相同大小，所以H,W两个公式可以看为相等。

1.6 卷积的维度

卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积，我们的图像是二维图像，卷积核的维度也是二维。
我们的图像是RGB三个通道，所以会在三个二维图像上进行滑动提取特征，最后将红绿蓝三个通道特征提取之后进行相加，得到一个output特征图。

1.7 转置卷积

转置卷积又称为反卷积(Deconvolution)和部分跨越卷积(Fractionallystrided Convolution) ，用于对图像进行上采样(UpSample)

1.7.1 为什么被称为转置卷积

正常卷积，图片经过卷积之后，等到的特征图尺寸会比原图小

而转置卷积经过卷积核之后会将原图尺寸方法常用于上采样，提升图片的尺度

1.7.2 nn.ConvTranspose2d

功能：转置卷积实现上采样

主要参数：
? in_channels：输入通道数
? out_channels：输出通道数
? kernel_size：卷积核尺寸
? stride：步长
? padding ：填充个数
? dilation：空洞卷积大小
? groups：分组卷积设置
? bias：偏置

1.7.3 转置卷积的计算方法

完整版本：

1.7.4 核心代码

flag = 1
if flag:
    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)  # input:(i, o, size)
    nn.init.xavier_normal_(conv_layer.weight.data)
    # calculation
    img_conv = conv_layer(img_tensor)

输出结果：

二、池化层（Pooling Layer）

2.1 池化的概念

池化运算：对信号进行 “收集”并 “总结”，类似水池收集水资源，因而得名池化层，“收集”：多变少；“总结”：最大值/平均值

池化有最大池化和平均池化
最大池化：取池化范围内最大的数，下图中池化范围2x2，取每个池化范围内数值最大的
平均池化：取池化范围内的平均值，下图中池化范围2x2，取每个池化范围内数值之和，再求平均

2.2 nn.MaxPool2d

功能：对二维信号（图像）进行最大值池化

主要参数：
? kernel_size：池化核尺寸
? stride：步长
? padding ：填充个数
? dilation：池化核间隔大小
? ceil_mode：尺寸向上取整
? return_indices：记录池化像素索引

2.2.1 代码实现

import os
import torch
import random
import numpy as np
import torchvision
import torch.nn as nn
from torchvision import transforms
from matplotlib import pyplot as plt
from PIL import Image
from common_tools import transform_invert, set_seed

set_seed(1)  # 设置随机种子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)  # C*H*W to B*C*H*W

# ================ maxpool
flag = 1
# flag = 0
if flag:
    maxpool_layer = nn.MaxPool2d((2, 2), stride=(2, 2)) #这里为什么池化和步长都设置(2,2)，是为了保证每次池化的区域不重叠
    img_pool = maxpool_layer(img_tensor)
# ================================= 展示图像 ==================================
print("池化前尺寸:{}\n池化后尺寸:{}".format(img_tensor.shape, img_pool.shape))
img_pool = transform_invert(img_pool[0, 0:3, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_pool)
plt.subplot(121).imshow(img_raw)
plt.show()

输出结果，图片大小为原来的一半：

2.3 nn.AvgPool2d

功能：对二维信号（图像）进行平均值池化

主要参数：
? kernel_size：池化核尺寸
? stride：步长
? padding ：填充个数
? ceil_mode：尺寸向上取整
? count_include_pad：填充值用于计算
? divisor_override ：除法因子

2.3.1 代码实现

核心代码：

flag = 1
# flag = 0
if flag:
    avgpoollayer = nn.AvgPool2d((2, 2), stride=(2, 2))  # input:(i, o, size) weights:(o, i , h, w)
    img_pool = avgpoollayer(img_tensor)

输出结果：

2.4 最大池化与平均池化区别

下面第一幅图是最大池化，第二幅图是平均池化，因为最大池化取的是一个区域内的最大值，所以第一幅图比第二幅图某些区域更亮，特征更明显。

2.5 nn.MaxUnpool2d

功能：对二维信号（图像）进行最大值池化进行上采样，但是需要根据池化中的最大值位置索引进行上采样，例如[1,2,0,1]经过最大池化，取第二个位置，当前索引为2，所以[3,2,1,7]进行上采样，其中3是在上采样后索引为2的位置上，其他区域为0.


主要参数：
? kernel_size：池化核尺寸
? stride：步长
? padding ：填充个数

2.5.1 核心代码实现

flag = 1
if flag:
    # pooling
    img_tensor = torch.randint(high=5, size=(1, 1, 4, 4), dtype=torch.float) # 生成特征图
    maxpool_layer = nn.MaxPool2d((2, 2), stride=(2, 2), return_indices=True) # 设置池化层
    img_pool, indices = maxpool_layer(img_tensor) #获取池化后的数据以及索引

    # unpooling
    img_reconstruct = torch.randn_like(img_pool, dtype=torch.float) #根据img_poolshape随机构建数据
    maxunpool_layer = nn.MaxUnpool2d((2, 2), stride=(2, 2)) #搭建最大池化上采样层
    img_unpool = maxunpool_layer(img_reconstruct, indices)

    print("raw_img:\n{}\nimg_pool:\n{}".format(img_tensor, img_pool))
    print("索引位置：{}".format(indices))
    print("img_reconstruct:\n{}\nimg_unpool:\n{}".format(img_reconstruct, img_unpool))

输出结果：

三、线性层（Linear Layer）

线性层又称全连接层，其每个神经元与上一层所有神经元相连，实现对前一层的线性组合，线性变换。


输入的input=[1,2,3]，经过加权相乘得到的hidden=[6,1,18,24]

3.1nn.Linear

功能：对一维信号（向量）进行线性组合

主要参数：
? in_features：输入结点数
? out_features：输出结点数
? bias ：是否需要偏置
计算公式：y = 𝒙*𝑾𝑻 + 𝒃𝒊𝒂𝒔

代码实现：

flag = 1
if flag:
    inputs = torch.tensor([[1., 2, 3]])
    linear_layer = nn.Linear(3, 4)
    linear_layer.weight.data = torch.tensor([[1., 1., 1.],
                                             [2., 2., 2.],
                                             [3., 3., 3.],
                                             [4., 4., 4.]])

    linear_layer.bias.data.fill_(0.5)  # 偏执项，x*w+b
    output = linear_layer(inputs)
    print(inputs, inputs.shape)
    print(linear_layer.weight.data, linear_layer.weight.data.shape)
    print(output, output.shape)

输出结果：

四、激活函数层（Activation Layer）

4.1 概念

激活函数对特征进行非线性变换，赋予多层神经网络具有深度的意义。
为什么要使用激活函数呢，因为输入的特征只是通过线性变换，不过是经过多层网络都还是线性变换，就如下面这幅图的计算公式一样。

4.2 nn.Sigmoid激活函数

函数图像：

计算公式：

4.3 nn.tanh激活函数

函数图像：

计算公式：

4.4 nn.ReLU激活函数

函数图像：

计算公式：

4.5 ReLU变体形式

nn.LeakyReLU:在负半轴添加一点斜率；
nn.PReLU：将负半轴的斜率变为可学习的；
nn.RReLU：负半轴的斜率上下均匀分布；