超维空间M1无人机使用说明书——31、基于模板匹配的物体识别功能

引言：ROS提供的物体识别功能包find_object_2d，该功能包用起来相对简单，只需要简单进行模板匹配即可。需要接显示器进行模板训练，远程比较卡，不建议

一、功能包find_object_2d简介

ROS的优点之一是有大量可以在应用程序中复用的软件包。在我们的例程中，想要实现对一个物体的识别和检测。而find_object_2d包就是一个物体识别和检测的ROS功能包，它实现了SURF、SIFT、FAST和BRIEF特征检测器和用于物体检测的描述符。通过此包提供的GUI，可以标记待检测的物体，保存后可用来进行特征检测。而此包提供的检测器节点可检测摄像头图像中的物体，并通过主题发布物体的具体信息。此包还能通过3D传感器估计物体的深度信息和朝向信息。整体来说这个功能包安装是相当方便的，不过因为是模板匹配，所以局限性比较大，在目标物体未正对摄像头的情况下识别成功率不高，而且想要得到良好的匹配效果需要认真的调节参数，旋转合适的算法，另外输出的tf中心点坐标大致准确，但是姿态就不是很靠谱了。
使用find_object_2d功能包进行物体识别，该功能包采用模板匹配算法，相比较于yolov其优点在于操作简单，对硬件配置要求低，因此在树莓派和jetson nano两种主控板上都可以使用此功能包。其缺点在于模板匹配通常需要正对着图像效果较好。系统镜像都已经配置好了环境，按照使用说明即可操作。

先看一下这个功能包的效果：

二、启动摄像头

默认普通USB摄像头，不支持转换出真实的相对位置信息，如果需要获取位置的话，可以使用深度摄像头

注：适当降低摄像头发布频率，可以降低机载电脑计算压力

步骤1、启动USB摄像头或者D435摄像头（根据实际硬件选择）

roslaunch usb_cam usb_cam_test.launch //USB摄像头
或
roslaunch realsense2_camera rs_camera.launch //D435深度摄像头

三、启动find_object_2d功能包，启动后如下

终端输入：roslaunch find_object_2d find_object_2d.launch //USB摄像头
或
终端输入：roslaunch find_object_2d find_object_3d.launch //D435深度摄像头

find_object_3d.launch用于深度摄像头，可以获取相对坐标系位置

该命令将打开如图所示的物体检测器窗口，可以在其中看到摄像头采集到的图像和物体上的特征点。

那么如何用它来检测一个物体呢？下面是使用此工具执行基本检测的步骤。
①、右键单击此窗口左侧面板（Objects），将会出现Add objects from scene选项，选择此选项，将会弹出一个Add object对话框，它将引导你标记所关注的物体，在完成标记之后，标记物体即开始被跟踪。下图显示了第一步，它正在拍摄包含该物体的场景。
②、将物体对准摄像头后，按Take Picture按钮获取物体快照。
③、下一个窗口用于从当前快照中标记物体，如图所示。首先使用鼠标指针来标记框选物体，然后单击“Next”按钮裁剪物体，接着继续下一步。

④、裁剪物体后，将显示物体特征描述符总数，你可以点击“End”按钮添加此物体模板进行检测。
⑤、恭喜！你已经添加了一个待检测物体。一旦添加好物体，你将会看到物体周围多了一个边框，这说明此物体被检测到了，如图所示。

5.2、查询物体的位置
步骤1、终端输入：rosrun find_object_2d print_objects_detected

步骤2、你还可以通过/object主题获取被检测物体的完整信息。该主题发布一个多维数组，该数组包含物体的宽、高信息和单应性矩阵信息，这些信息用来计算物体的位置、方向和剪切值。利用话题回显命令，回显话题/object将得到如图所示的结果。

date:后面第二、三个数据是宽度和高度，剩下的9个数据构成一个3x3的矩阵，
可以用下图公式计算位置和方向

其中，H是3×3的单应性矩阵，（x1，y1）是物体在存储图像中的位置，（x2，y2）是物体在当前帧中的位置。
这就对我们开发机器人很便利了，我们只需要订阅这个话题，获取我们想要的消息。

以下功能只针对深度摄像头，如果是普通的USB摄像头，可以直接跳过以下内容

启动坐标系转换节点

rosrun visual_trans visual_trans

此节点会监听物体相对于摄像头的位置，然后发布三维位置信息，信息如下:

①、未识别到物体的时候，会有红色，表示没有识别到对应的物体

②、识别到物体后发布三维位置信息

此文相当于介绍性质，这里不再做进一步的分析。