如何使用 OpenCV 扫描图像、查找表和时间测量

目标

我们将寻求以下问题的答案：

• 如何浏览图像的每个像素？
• OpenCV 矩阵值是如何存储的？
• 如何衡量我们算法的性能？
• 什么是查找表，为什么要使用它们？

我们的测试用例

让我们考虑一种简单的颜色减少方法。通过使用无符号字符 C 和 C++ 类型进行矩阵项存储，像素通道最多可以有 256 个不同的值。对于三通道图像，这可能会导致形成太多的颜色（准确地说是 1600 万）。使用如此多的色调可能会对我们的算法性能造成沉重打击。但是，有时只需使用更少的人即可获得相同的最终结果。

在这种情况下，我们通常会减少色彩空间。这意味着我们将颜色空间当前值除以新的输入值，最终得到更少的颜色。例如，0 到 9 之间的每个值都采用新值 0,10 到 19 之间的每个值都采用值 10，依此类推。

当您将?uchar（无符号 char - 又名介于 0 和 255 之间的值）值与?int?值相除时，结果也将是?char。这些值只能是 char 值。因此，任何分数都将向下舍入。利用这一事实，uchar?域中的上层操作可以表示为：

一个简单的色彩空间缩减算法将包括仅通过图像矩阵的每个像素并应用此公式。值得注意的是，我们进行了除法和乘法运算。对于系统来说，这些操作的成本非常高。如果可能的话，值得通过使用更便宜的操作来避免它们，例如一些减法、加法或在最好的情况下进行简单的赋值。此外，请注意，我们只有有限数量的上层操作的输入值。在?uchar?系统的情况下，确切地说是 256。

因此，对于较大的图像，明智的做法是事先计算所有可能的值，并且在分配过程中，只需使用查找表进行分配即可。查找表是简单的数组（具有一个或多个维度），对于给定的输入值变体，它保存最终输出值。它的优势在于我们不需要进行计算，我们只需要读取结果。

我们的测试用例程序（以及下面的代码示例）将执行以下操作：读取作为命令行参数传递的图像（它可以是彩色或灰度），并使用给定的命令行参数整数值应用缩减。在 OpenCV 中，目前有三种主要方法可以逐像素地浏览图像。为了让事情变得更有趣，我们将使用这些方法中的每一种对图像进行扫描，并打印出花费了多长时间。

您可以在此处下载完整的源代码，也可以在 OpenCV 的 samples 目录中查找核心部分的 cpp 教程代码。它的基本用法是：

最后一个参数是可选的。如果给定图像将以灰度格式加载，否则使用 BGR 色彩空间。第一件事是计算查找表。

在这里，我们首先使用 C++?stringstream?类将第三个命令行参数从文本转换为整数格式。然后我们使用简单的外观和上面的公式来计算查找表。这里没有特定于 OpenCV 的东西。

另一个问题是我们如何测量时间？OpenCV提供了两个简单的函数来实现这个?cv：：getTickCount（） 和?cv：：getTickFrequency（）?。第一个返回某个事件（例如自您启动系统以来）的系统 CPU 的滴答数。第二个返回 CPU 在一秒钟内发出滴答声的次数。因此，测量两次操作之间经过的时间就像以下几点一样简单：

图像矩阵如何存储在内存中？

正如您已经在我的?Mat - 基本图像容器教程中读到的那样，矩阵的大小取决于所使用的颜色系统。更准确地说，这取决于使用的通道数量。对于灰度图像，我们有如下内容：

对于多通道图像，列包含的子列数与通道数一样多。例如，在BGR颜色系统的情况下：

请注意，通道的顺序是相反的：BGR 而不是 RGB。因为在许多情况下，内存足够大，可以连续存储行，所以行可能会一个接一个地跟随，从而形成一个长行。因为所有内容都在一个地方，所以一个接一个地进行，这可能有助于加快扫描过程。我们可以使用?cv：：Mat：：isContinuous（）?函数来询问矩阵是否是这种情况。继续下一部分以查找示例。

高效的方式

在性能方面，您无法击败经典的 C 风格 operator[]（指针）访问。因此，我们可以推荐的最有效的分配方法是：

在这里，我们基本上只是获取一个指向每行开头的指针，并遍历它直到它结束。在矩阵以连续方式存储的特殊情况下，我们只需要请求指针一次，然后一直到最后。我们需要注意彩色图像：我们有三个通道，因此我们需要在每行中通过三倍以上的项目。

还有另一种方法。Mat?对象的数据成员返回指向第一行第一列的指针。如果此指针为 null，则该对象中没有有效的输入。检查这是检查图像加载是否成功的最简单方法。如果存储是连续的，我们可以使用它来遍历整个数据指针。如果是灰度图像，这将如下所示：

你会得到相同的结果。但是，此代码稍后更难阅读。如果你在那里有一些更先进的技术，那就更难了。此外，在实践中，我观察到你会得到相同的性能结果（因为大多数现代编译器可能会自动为你制作这个小的优化技巧）。

迭代器（安全）方法

在有效方法的情况下，请确保您通过适量的?uchar?字段并跳过行之间可能出现的间隙是您的责任。迭代器方法被认为是一种更安全的方法，因为它从用户手中接管了这些任务。您需要做的就是询问图像矩阵的开始和结束，然后增加开始迭代器，直到到达末尾。若要获取迭代器指向的值，请使用 * 运算符（在它前面添加它）。

对于彩色图像，我们每列有三个 uchar 项目。这可以被认为是 uchar 项目的短向量，它已在 OpenCV 中以?Vec3b?名称受洗。要访问第 n 个子列，我们使用简单的 operator[] 访问。重要的是要记住，OpenCV 迭代器会遍历列并自动跳到下一行。因此，对于彩色图像，如果您使用简单的?uchar?迭代器，您将只能访问蓝色通道值。

动态地址计算和引用返回

不建议使用最后一种方法进行扫描。它是为了获取或修改图像中的随机元素而制作的。它的基本用途是指定要访问的项的行号和列号。在我们早期的扫描方法中，您已经注意到，我们通过哪种类型查看图像很重要。这里没有什么不同，因为您需要手动指定在自动查找时使用的类型。在以下源代码的灰度图像中，您可以观察到这一点（+?cv：：Mat：：at（）?函数的使用）：

该函数采用您的输入类型和坐标，并计算查询项的地址。然后返回对该引用的引用。当您获取该值时，这可能是一个常量，而在设置该值时，这可能是一个非常量。作为调试模式下的安全步骤*，将检查输入坐标是否有效且确实存在。如果不是这种情况，您将在标准错误输出流上收到一条很好的输出消息。与发布模式下的有效方法相比，使用它的唯一区别是，对于图像的每个元素，您将获得一个新的行指针，用于我们使用 C 运算符 [] 来获取列元素。

如果需要使用此方法对图像进行多次查找，则为每个访问输入类型和 at 关键字可能会很麻烦且耗时。为了解决这个问题，OpenCV 有一个?cv：：Mat_?数据类型。它与 Mat 相同，但需要额外的需求，即在定义时，您需要通过查看数据矩阵来指定数据类型，但是作为回报，您可以使用 operator（） 来快速访问项目。为了让事情变得更好，这很容易从通常的?cv：：Mat?数据类型转换。在上面函数的彩色图像的情况下，您可以看到它的示例用法。不过，需要注意的是，可以使用?cv：：Mat：：at?函数完成相同的操作（具有相同的运行时速度）。这只是为懒惰的程序员技巧编写的少一些内容。

核心功能

这是在图像中实现查找表修改的一种奖励方法。在图像处理中，通常希望将所有给定的图像值修改为其他值。OpenCV提供了修改图像值的功能，无需编写图像的扫描逻辑。我们使用核心模块的?cv：：LUT（）?函数。首先，我们构建一个 Mat 类型的查找表：

最后调用函数（I 是我们的输入图像，J 是输出图像）：

性能差异

为获得最佳效果，请编译程序并自行运行。为了更清楚地说明差异，我使用了一张相当大的 （2560 X 1600） 图像。此处介绍的性能适用于彩色图像。为了获得更准确的值，我将从函数调用中获得的值平均了一百次。

方法	时间
高效方式	79.4717 毫秒
迭 代	83.7201 毫秒
即时 RA	93.7878 毫秒
LUT 函数	32.5759 毫秒

我们可以得出几点结论。如果可能的话，使用 OpenCV 已经制作的函数（而不是重新发明这些函数）。最快的方法是 LUT 函数。这是因为 OpenCV 库是通过英特尔线程构建模块实现多线程的。但是，如果您需要编写简单的图像扫描，则首选指针方法。迭代器是一个更安全的选择，但速度要慢得多。在调试模式下，使用动态引用访问方法进行完整映像扫描的成本最高。在发布模式下，它可能会击败迭代器方法，但肯定会为此牺牲迭代器的安全特性。