paddle 55 使用Paddle Inference部署嵌入nms的PPYoloe模型(端到端fps达到52.63)

发布时间:2023年12月23日

Paddle Inference 是飞桨的原生推理库,提供服务器端的高性能推理能力。由于 Paddle Inference 能力直接基于飞桨的训练算子,因此它支持飞桨训练出的所有模型的推理。paddle平台训练出的模型转换为静态图时可以选用Paddle Inference的框架进行推理,博主以前都是将静态图转换为onnx模型再进行部署。然而在转换含nms的ppyoloe模式,转换失败了,故此研究Paddle Inference部署嵌入nms的PPYoloe模型,最终实现ppyoloe_m模型的fps为52.63(19ms一个图)速度。注:在paddledection中PPYoloe默认的是MultiClassNMS方式

使用paddledection训练自己的数据集可以参考:paddle 31 安装paddledetection并训练自己的数据集(支持voc与coco数据集)

1、相关背景

Paddle Inference 功能特性丰富,性能优异,针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。其提供了python、c++、c、go语言的部署文档。

1.1 paddle系其他推理框架

除了Paddle Inference,paddle团队还提出了以下推理框架,可见其支持多款国产gpu。

文章来源:https://blog.csdn.net/a486259/article/details/135173607
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。