CMU, UC Berkeley等团队结合神经辐射场的视触觉感知，用于手内操作

为了实现人类水平的灵巧性，机器人必须从多模态感知到推理接触交互来推断空间意识。在手动操作新物体的过程中，这种空间意识涉及估计物体的姿势和形状。手部感知的现状主要采用视觉，并仅限于跟踪先验的已知物体。此外，在操作过程中，手头物体的视觉遮挡迫在眉睫，从而亟需操作触觉感知。

将视觉和触觉传感结合在多指手上，以估计物体在手操作过程中的姿势和形状。提出的方法 NeuralFeels 通过在线学习神经场对对象几何形状进行编码，并通过优化姿态图问题来共同跟踪它。

该论文研究了模拟和现实世界中的多模态手部感知，通过本体感觉驱动的策略与不同的物体进行交互。实验表明，最终重建分数81% 和平均姿态漂移4.7毫米，进一步简化为2.3毫米使用已知的 CAD 模型。
此外发现在严重的视觉遮挡下，与仅视觉方法相比跟踪改进可以达到94%。研究结果表明，触摸至少可以改善手部操作过程中的视觉估计，并且最好是消除视觉估计的歧义。该工作发布了包含 70 个实验的评估数据集 FeelSight，作为该领域基准测试的一步。由多模态传感驱动的神经表征可以作为提高机器人灵巧性的感知基础。