【论文解读】When2com: Multi-Agent Perception via Communication Graph Grouping

摘要

虽然单智能体感知已经取得了重大进展，但由于覆盖范围和鲁棒性等优点，许多应用需要多个传感智能体和跨智能体通信。因此，开发以分布式和带宽高效的方式支持多智能体协作感知的框架至关重要。在本文中，我们解决了协作感知问题，其中一个代理需要执行感知任务，并且可以与同一任务中的其他代理通信和共享信息。具体来说，我们通过学习构建沟通小组和决定何时沟通，提出了一个沟通框架。我们证明了我们的框架在两个不同感知任务上的可推广性，并表明它在保持卓越性能的同时显著降低了通信带宽

引言

由于所有信息都是广播的，所以没有根据需要来决定何时进行通信。当局部观测足以用于预测时，代理不需要消耗带宽。当其他代理发送的消息降级或不相关时，通信可能会对感知任务不利。
我们特别将这个问题视为学习构建通信组（即，每个代理决定传输什么以及与哪个代理通信），并决定何时进行通信，而无需在训练期间对这些决定进行明确监督。
我们解决了尚未开发的协作感知领域，这是感知，多智能体系统和通信的交叉点。

• 我们提出了一个统一的框架，学习如何构建通信组和何时进行通信。它在训练过程中不需要地面真值通信标签，并且可以在推理过程中动态减少带宽。
• 我们的模型可以推广到几个下游任务，我们通过严格的实验表明，与之前研究学习沟通的工作相比，它可以表现得更好
• 我们提供了一个协作的多智能体语义分割数据集AirSim-MAP，其中每个智能体都有自己的深度、姿态、RBG图像和语义分割掩码。该数据集允许研究人员进一步研究多智能体感知的解决方案。

方法

我们假设一个由N个agent组成的环境，每个agent都有自己的观测值X = {xn} N =1，…, N。在这些agent中，有一部分是退化（Degraded agent）的[X = {X xl}l=1，…]，L，退化的智能体集合是所有智能体的一个子集(X≠X)。每个智能体输出感知任务的预测: Y = {y n}n=1，…，N与所提出的通信机制。请注意，每个代理同时是请求者和支持者。然而，在我们的问题设置中，哪些代理被降级是未知的。
【Degraded agent】是指在多智能体系统中，由于某种原因导致的信息质量下降的智能体。这些智能体可能由于传感器故障、通信干扰或其他因素而无法获取准确的信息。在多智能体协作任务中，这些降级智能体可能会影响整个系统的性能，因为它们无法为其他智能体提供有用的信息。为了解决这个问题，研究人员提出了一种学习通信模型，通过为每个智能体建立通信组（即选择与谁通信以及何时通信）来降低带宽消耗并提高感知任务的性能。

我们首先应用握手通信来确定连接的权重，我们进一步使用激活函数来剔除不太重要的连接。

为了开始构建一个通信组，我们应用了一个三阶段握手通信机制，它由三个阶段组成:请求、匹配和选择。
Agent i首先将其局部观测值xi压缩为一个紧凑的查询向量μi和一个键向量κi，为了决定与谁通信，我们计算代理i(作为请求者)和代理j(作为支持者)之间的匹配分数mi, j，

其中Φ(·，·)是一个学习的相似度函数，用于度量两个向量之间的相关性。

如何解决when的问题呢？

一种理想的通信机制是，当agent需要其他agent提供信息来提高感知能力时，开启传输;当agent有足够的信息来完成自己的感知任务时，关闭传输。
即当mi,i≈1表示agent有足够的信息，不需要进行感知任务的通信。

为什么说通过激活函数剔除不太重要的连接？

受自注意机制的启发，我们使用来自同一代理的关键字和查询之间的相关性来确定代理是否潜在地需要更多信息，从而学习何时进行通信。

Wg∈RQ×K是匹配查询和键大小的可学习参数，Q和K分别是查询和键的维数。有点像self-attention中的
基于上述所有查询和键的自注意和交叉注意机制，我们由此推导出匹配矩阵M

为了构建通信组，我们使用激活函数来修剪较少的连接，即设置一个δ，把小于这个值的数归零。
导出的矩阵M可以看作是有向图的邻接矩阵

实验

AirSim-MAP (Multi-Agent Perception)数据集。
单请求多支持(SRMS)
第一种情况检查单个请求代理的通信有效性，假设如果一个代理降级，那么其原始的、未降级的信息将出现在一个支持代理中。我们总共包括五个agent，其中只有一个被选择为可能的降级代理。我们在随机选择的50%的代理帧中加入噪声，并用原始代理的未降级帧随机替换剩余的代理之一。注意，只有原始代理的分割掩码被用作监督。
多请求多支持(MRMS)
第二种情况考虑了一个更具挑战性的问题，其中多个代理可能遭受退化。这种情况不需要单个分割输出，而是需要所有代理(降级和非降级)的分割输出。我们遵循前一种情况的设置，并确保几个降级请求代理中的每一个在其支持代理中都具有相应的未降级映像。
多请求多部分支持(MRMPS)
第三种情况删除了在支持代理之间存在降级视图的干净版本的假设。相反，降级的代理必须从其他代理中选择信息量最大的视图，这些视图可能具有不同程度的相关性。具体来说，当无人机群在环境中移动时，每架无人机的图像会周期性地和部分地与其他无人机的图像重叠。直观地说，请求无人机的分割输出只能从具有重叠视图的支持无人机中得到辅助

评估

这里我们考虑几个全连接(FC)和分布式通信(DistCom)模型作为我们的基线。FC模型融合了所有代理的观察值(加权或未加权)，而DistCom模型只融合了这些观察值的一个子集。

• CatAll (FC)是一个朴素的FC模型基线，它在随后的网络阶段之前连接所有代理的编码图像特征。
• 辅助视图注意(AuxAttend;FC)使用注意机制来权衡来自支持代理的辅助视图。
• RandCom (DistCom)是一个朴素的分布式基线，它随机选择其他代理之一作为支持代理。
• Who2com (DistCom)排除了自注意机制，因此它总是与一个支持代理通信。
• OccDeg和AllNorm是不使用通信的基线，即每个代理(视图)独立计算自己的输出。对于OccDeg，数据像以前一样被降级，而在AllNorm中，我们对所有视图使用干净的图像。这两者可以作为比较的上下参考。

分割任务

分类任务

消融实验

• 随机（RandCom）
• 去掉了握手通信（H-com）
• 不去握手通信
  

结论

在本文中，我们提出了一种通用的带宽高效的协作感知通信框架。我们的框架学习如何构建通信组以及何时进行通信。该框架可以推广到多个下游任务，包括(但不限于)多智能体语义分割和多智能体三维形状识别。我们在所有比较的方法中以较低的带宽要求证明了优越的性能。