【官方框架地址】
https://github.com/ultralytics/ultralytics
【算法介绍】
RTDETR,全称“Real-Time Detection with Transformer for Object Tracking and Detection”,是一种基于Transformer结构的实时目标检测和跟踪算法。它在目标检测和跟踪领域中具有广泛的应用,尤其是在需要实时处理和高准确率的场景中。
RTDETR算法的主要特点是采用Transformer结构,这种结构在自然语言处理领域已经取得了巨大成功。通过使用自注意力机制和多头注意力机制,RTDETR能够有效地捕捉图像中目标之间的上下文信息,从而提高了检测和跟踪的准确率。
与传统的目标检测和跟踪算法相比,RTDETR具有更高的准确率和实时性。它采用了新颖的检测和跟踪一体化设计,将目标检测和跟踪任务统一到一个模型中进行处理,减少了计算量和参数数量,从而提高了运行速度。此外,RTDETR还采用了可学习的锚框设计和轨迹推理机制,进一步提高了目标检测和跟踪的准确率。
在实际应用中,RTDETR可以应用于各种场景,如智能监控、自动驾驶、无人机等。在这些场景中,实时性和准确性是非常重要的,而RTDETR算法恰好满足了这些需求。例如,在智能监控场景中,RTDETR可以实时检测和跟踪监控画面中的异常行为或目标,为安全防范提供及时预警;在自动驾驶场景中,RTDETR可以帮助车辆实现实时感知和决策,提高行驶的安全性和稳定性。
总之,RTDETR算法是一种基于Transformer结构的实时目标检测和跟踪算法,具有高准确率和实时性。它可以广泛应用于各种场景中,为实时处理和高准确率的需求提供了有效的解决方案。
【效果展示】
【实现部分代码】
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using OpenCvSharp;
namespace FIRC
{
public partial class Form1 : Form
{
Bitmap src = null;
RtdetrManager detector = null;
public Form1()
{
InitializeComponent();
}
private void button1_Click(object sender, EventArgs e)
{
OpenFileDialog openFileDialog = new OpenFileDialog();
openFileDialog.Filter = "图文件(*.*)|*.jpg;*.png;*.jpeg;*.bmp";
openFileDialog.RestoreDirectory = true;
openFileDialog.Multiselect = false;
if (openFileDialog.ShowDialog() == DialogResult.OK)
{
src = new Bitmap(openFileDialog.FileName);
pictureBox1.Image = src;
}
}
private void button2_Click(object sender, EventArgs e)
{
if(pictureBox1.Image==null)
{
return;
}
var result = detector.Inference(src);
var resultImg = detector.DrawImage(src, result);
pictureBox2.Image = resultImg;
}
private void Form1_Load(object sender, EventArgs e)
{
detector = new RtdetrManager(Application.StartupPath+"\\weights\\rtdetr-l.onnx", Application.StartupPath + "\\weights\\labels.txt");
}
private void button3_Click(object sender, EventArgs e)
{
VideoCapture capture = new VideoCapture(0);
if (!capture.IsOpened())
{
Console.WriteLine("video not open!");
return;
}
Mat frame = new Mat();
var sw = new Stopwatch();
int fps = 0;
while (true)
{
capture.Read(frame);
if (frame.Empty())
{
Console.WriteLine("data is empty!");
break;
}
sw.Start();
var bmp = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(frame);
var result = detector.Inference(bmp);
var resultImg = detector.DrawImage(bmp, result);
sw.Stop();
fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
sw.Reset();
frame = OpenCvSharp.Extensions.BitmapConverter.ToMat(new Bitmap(resultImg));
Cv2.PutText(frame, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
//显示结果
Cv2.ImShow("Result", frame);
int key = Cv2.WaitKey(10);
if (key == 27)
break;
}
capture.Release();
}
}
}
【视频演示】
https://www.bilibili.com/video/BV11a4y1C72W/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee
【测试环境】
vs2019,netframework4.7.2,onnxruntime1.16.3
?
?
?