??特别说明:参考官方开源的yolov8代码、瑞芯微官方文档、地平线的官方文档,如有侵权告知删,谢谢。
??模型和完整仿真测试代码,放在github上参考链接 模型和代码。
??因为之前写了几篇yolov8模型部署的博文,存在两个问题:部署难度大、模型推理速度慢。该篇解决了这两个问题,且是全网部署难度最小、模型运行速度最快的部署方式。相对之前写的一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】将DFL写在后处理中模型加速了,针对后处理进行优化后时耗略微增加。
??训练代码参考官方开源的yolov8训练代码。
?? 导出onnx增加以下几行代码:
# 导出 onnx 增加
y = []
for i in range(self.nl):
t1 = self.cv2[i](x[i])
t2 = self.cv3[i](x[i])
y.append(t1)
y.append(t2)
return y
??增加保存onnx模型代码
print("=========== onnx =========== ")
import torch
dummy_input = torch.randn(1, 3, 640, 640)
input_names = ["data"]
output_names = ["reg1", "cls1", "reg2", "cls2", "reg3", "cls3"]
torch.onnx.export(self.model, dummy_input, "./weights/yolov8_relu_80class_ZQ1.onnx", verbose=False, input_names=input_names, output_names=output_names, opset_version=11)
print("======================== convert onnx Finished! .... ")
??修改完以上两个地方,运行推理脚本(运行会报错,但不影响onnx文件的生成)。
from ultralytics import YOLO
# 推理
model = YOLO('./weights/yolov8n_relu_ZQ_80class.pt')
results = model(task='detect', mode='predict', source='./images/test.jpg', line_width=3, show=True, save=True, device='cpu')
??onnx模型和测试完整代码,放在github上代码。
??上一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】tensorRT部署推理10000次的平均时耗(显卡 Tesla V100、cuda_11.0)
本篇tensorRT部署推理10000次的平均时耗(显卡 Tesla V100、cuda_11.0)
??把板端C++代码的模型和时耗也给贴出来供大家参考,使用芯片rk3588。相对之前在rk3588上推理40ms,降到了17ms,后处理稍微有增加。
??上一篇【yolov8 瑞芯微RKNN和地平线Horizon芯片仿真测试部署】部署到rknn3588上的C++时耗
??本篇部署方法时耗