基于YOLOv7开发构建道路交通场景下CCTSDB2021交通标识检测识别系统

交通标志检测是交通标志识别系统中的一项重要任务。与其他国家的交通标志相比，中国的交通标志有其独特的特点。卷积神经网络（CNN）在计算机视觉任务中取得了突破性进展，在交通标志分类方面取得了巨大的成功。CCTSDB 数据集是由长沙理工大学的相关学者及团队制作而成的，其有交通标志样本图片有近 20000 张，共含交通标志近 40000 个，但目前只公开了其中的 10000 张图片，标注了常见的指示标志、禁令标志及警告标志三大类交通标志。随着时间的更迭有了不同的版本数据集，本文的主要目的就是想要基于yolov7来开发构建CCTSDB2021数据集上的目标检测识别系统，首先看下实例效果：

在前文中我们已经进行了一系列的开发实践了，感兴趣的话可以自行移步阅读即可：
《基于YOLOv3开发构建道路交通场景下CCTSDB2021交通标识检测识别系统》

《基于YOLOv4开发构建道路交通场景下CCTSDB2021交通标识检测识别系统》

《基于YOLOv5全系列参数模型【n/s/m/l/x】开发构建道路交通场景下CCTSDB2021交通标识检测识别系统》

《基于YOLOv6开发构建道路交通场景下CCTSDB2021交通标识检测识别系统》

在CCTSDB2021数据集中，训练集和正样本测试集中有17856幅图像。图像中的交通标志根据其含义分为强制性、禁止性和警示性。共有16356个训练集图像，编号为00000-18991。正样本测试集有1500张图像，编号为18992-20491。“XML”压缩包存储训练集和正样本测试集的XML格式注释文件。“train_img”压缩包存储训练集图像。“train_labels”压缩包存储训练集的TXT格式注释文件。“test_img”压缩包存储正样本测试集图像。“基于天气和环境的分类”压缩包存储了根据天气和照明条件分类的正样本测试集的XML格式注释文件。“基于交通标志大小的分类”压缩包存储了根据图像中交通标志大小分类的正样本测试集的XML格式注释文件。“负片样本”包含500张负片样本图像。

接下来看下数据集：

YOLOv7是 YOLO 系列最新推出的YOLO 结构，在 5 帧/秒到 160 帧/秒范围内，其速度和精度都超过了大部分已知的目标检测器，在 GPU V100 已知的 30 帧/秒以上的实时目标检测器中，YOLOv7 的准确率最高。根据代码运行环境的不同(边缘 GPU、普通 GPU 和云 GPU)，YOLOv7 设置了三种基本模型，分别称为 YOLOv7-tiny、YOLOv7和 YOLOv7-W6。相比于 YOLO 系列其他网络 模 型 ，YOLOv7 的 检 测 思 路 与YOLOv4、YOLOv5相似，YOLOv7 网络主要包含了 Input(输入)、Backbone(骨干网络)、Neck(颈部)、Head(头部)这四个部分。首先，图片经过输入部分数据增强等一系列操作进行预处理后，被送入主干网，主干网部分对处理后的图片提取特征；随后，提取到的特征经过 Neck 模块特征融合处理得到大、中、小三种尺寸的特征；最终，融合后的特征被送入检测头，经过检测之后输出得到结果。
YOLOv7 网络模型的主干网部分主要由卷积、E-ELAN 模块、MPConv 模块以及SPPCSPC 模块构建而成 。在 Neck 模块，YOLOv7 与 YOLOv5 网络相同，也采用了传统的 PAFPN 结构。FPN是YoloV7的加强特征提取网络，在主干部分获得的三个有效特征层会在这一部分进行特征融合，特征融合的目的是结合不同尺度的特征信息。在FPN部分，已经获得的有效特征层被用于继续提取特征。在YoloV7里依然使用到了Panet的结构，我们不仅会对特征进行上采样实现特征融合，还会对特征再次进行下采样实现特征融合。Head检测头部分，YOLOv7 选用了表示大、中、小三种目标尺寸的 IDetect 检测头，RepConv模块在训练和推理时结构具有一定的区别。

这里主要是选择了yolov7-tiny这款轻量级参数量级的模型来进行开发训练，训练数据配置文件如下：

# txt path 
train: ./dataset/images/train
val: ./dataset/images/test
test: ./dataset/images/test



# number of classes
nc: 3

# class names
names: ['mandatory', 'prohibitory', 'warning']

模型文件如下：

# parameters
nc: 3 ?# number of classes
depth_multiple: 1.0 ?# model depth multiple
width_multiple: 1.0 ?# layer channel multiple

# anchors
anchors:
? - [10,13, 16,30, 33,23] ?# P3/8
? - [30,61, 62,45, 59,119] ?# P4/16
? - [116,90, 156,198, 373,326] ?# P5/32

# yolov7-tiny backbone
backbone:
? # [from, number, module, args] c2, k=1, s=1, p=None, g=1, act=True
? [[-1, 1, Conv, [32, 3, 2, None, 1, nn.LeakyReLU(0.1)]], ?# 0-P1/2 ?
??
? ?[-1, 1, Conv, [64, 3, 2, None, 1, nn.LeakyReLU(0.1)]], ?# 1-P2/4 ? ?
? ?
? ?[-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 7
? ?
? ?[-1, 1, MP, []], ?# 8-P3/8
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 14
? ?
? ?[-1, 1, MP, []], ?# 15-P4/16
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 21
? ?
? ?[-1, 1, MP, []], ?# 22-P5/32
? ?[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [512, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 28
? ]

# yolov7-tiny head
head:
? [[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, SP, [5]],
? ?[-2, 1, SP, [9]],
? ?[-3, 1, SP, [13]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -7], 1, Concat, [1]],
? ?[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 37
??
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, nn.Upsample, [None, 2, 'nearest']],
? ?[21, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P4
? ?[[-1, -2], 1, Concat, [1]],
? ?
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 47
??
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, nn.Upsample, [None, 2, 'nearest']],
? ?[14, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P3
? ?[[-1, -2], 1, Concat, [1]],
? ?
? ?[-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 57
? ?
? ?[-1, 1, Conv, [128, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, 47], 1, Concat, [1]],
? ?
? ?[-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 65
? ?
? ?[-1, 1, Conv, [256, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, 37], 1, Concat, [1]],
? ?
? ?[-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[[-1, -2, -3, -4], 1, Concat, [1]],
? ?[-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]], ?# 73
? ? ??
? ?[57, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[65, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
? ?[73, 1, Conv, [512, 3, 1, None, 1, nn.LeakyReLU(0.1)]],

? ?[[74,75,76], 1, IDetect, [nc, anchors]], ? # Detect(P3, P4, P5)
? ]
?

等待训练完成后看下结果详情。

【Precision曲线】
精确率曲线（Precision-Recall Curve）是一种用于评估二分类模型在不同阈值下的精确率性能的可视化工具。它通过绘制不同阈值下的精确率和召回率之间的关系图来帮助我们了解模型在不同阈值下的表现。精确率（Precision）是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。

【Recall曲线】
召回率曲线（Recall Curve）是一种用于评估二分类模型在不同阈值下的召回率性能的可视化工具。它通过绘制不同阈值下的召回率和对应的精确率之间的关系图来帮助我们了解模型在不同阈值下的表现。召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。召回率也被称为灵敏度（Sensitivity）或真正例率（True Positive Rate）。

【F1值曲线】
F1值曲线是一种用于评估二分类模型在不同阈值下的性能的可视化工具。它通过绘制不同阈值下的精确率（Precision）、召回率（Recall）和F1分数的关系图来帮助我们理解模型的整体性能。F1分数是精确率和召回率的调和平均值，它综合考虑了两者的性能指标。F1值曲线可以帮助我们确定在不同精确率和召回率之间找到一个平衡点，以选择最佳的阈值。

【PR曲线】
精确率-召回率曲线（Precision-Recall Curve）是一种用于评估二分类模型性能的可视化工具。它通过绘制不同阈值下的精确率（Precision）和召回率（Recall）之间的关系图来帮助我们了解模型在不同阈值下的表现。精确率是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。

【训练可视化】

【Batch实例】

【混淆矩阵】

感兴趣的话也都可以动手实践一下！