基于视触觉的柔性机械爪与水果硬度无损检测

近日，课题组柑橘全程机械化平台研究团队以“Non-destructive fruit firmness evaluation using a soft gripper and vision-based tactile sensing”为题在农业计算机与电子信息领域期刊“Computers and Electronics in Agriculture”(IF2023=8.3)发表研究论文。

果实硬度与其成熟度的重要相关，其准确估计对采收后加工和售卖具有重要意义。团队受到鳍条效应启发设计了一种软材料制作的柔性机械爪，其具有稳定无损抓取水果的功能的同时，使用深度学习网络评估抓取过程中的作用力大小，进而判断水果硬度和成熟程度。

01
—
材料方法
与传统的鳍状机械爪外形类似，但不同的是，该机械爪在电机驱动下产生直线向上运动，从而变形为卷曲状态，而传统的鳍状机械爪只有在其内侧表面受到压迫时才被动地顺应物体。主动驱动的这种性质有助于减少在抓取过程中水平方向的相互作用力，避免损坏果实。
其中使用机械爪三个手指使用聚氨酯树脂在模具空腔中制作，内部的连接能保持一定的手指刚度，内侧与外侧分别由步进电机驱动或固定在外侧3D打印骨架上，骨架上放置有三个RGB相机，会记录机械爪抓取过程中与水果接触产生的变形，CPU为Jetson边缘计算设备。下图为机械爪示意图和构造。

为了验证抓取过程中机械爪的力稳定性和安全性，研究使用有限元模型分析了机械爪手指的刚度。首先使用同种材料制作了标准犬骨状拉伸试验样品，使用万能通用试验仪拉伸，并计算平均应力应变数据，导入软件预测手指的变形和受力情况。同时为了评估抓取水果的过程中水平方向的力的稳定性、安全性，搭建了如下试验平台，通过固定手指外侧，提升内侧位移，测定手指指尖、中端输出力大小。

随后，使用新鲜番茄和油桃样品进行了呼吸强度评估安全性能测试、抓取稳定性测试和视触觉数据集采集。其中抓取测试和数据采集过程中，电机驱动相同行程同时由相机记录手指的交互变形，每个相机视频中抽取6张图像，开始帧和结束帧通过连通域分析法判断，中间4张均匀抽取，单个样品真实硬度标签使用质构仪进行破坏试验获取。

同时为了消除水果和背景因素的干扰，准确提取手指轮廓的变形特征，使用带掩模的U-net分割网络进行特征提取（对比自适应阈值分割）。随后使用添加注意力机制的CNN-LSTM的深度学习网络进行硬度预测，集成CBAM机制的ResNet主干网络用于提取单个图片特征，随后每个视角平行输入到LSTM中，通过激活函数和全连接等处理后输出水果硬度。

02
—
试验结果
有限元分析结果如下图所示，与试验平台结果基本吻合。抓取稳定性测试也证实了软材料制作的机械爪手指能通过主动变形，增大手指刚度保持抓取稳定性。同时手指的刚度(0.48 ~ 0.61 N/mm)依然小于水果组织刚度大小(通常约为6.5 ~ 8 N/mm)，呼吸强度评估安全性能测试显示了对照组和抓取之后的实验组呼吸强度不存在显著性差异的结果。

此外，在深度学习网络预测水果硬度和成熟度结果上，番茄和油桃的相关系数和RSME值最高分别为0.795和1.839 N, 0.753和6.398 N。其中结果与真实硬度比较结果如下图所示。油桃预测结果略低于西红柿预测精度，可能的原因是油桃成熟特性并不均匀，同时西红柿是较对称的圆形果体，中间存在一条缝线，如果柔软的手指接触到它，可能会导致预测稍差。

03
—
应用讨论
在实际生产过程中，由于水果生产线速度较快、通量大，需要对水果硬度进行分级而不是精确评估，初步将水果样品初步分为“未熟”、“熟”、“过熟”三个等级下成熟度分级准确率分别为84.6%和81.5%。

总的来说，研究团队设计了一种集成视触觉传感的软材料制作机械爪，可实现驱动时抓握过程主动变形，从而减小了水平方向的相互作用力，进一步提高了抓取的安全性，不存在潜在的机械损伤痕迹。同时制作成本低廉，准确度较高，与其他水果硬度与成熟度检测手段相比应用潜力大，未来通过重量评估和颜色融合可进一步提高检测精度。