Mobile ALOHA 简介

最近这几天，在机器人领域最火的一个话题，非Mobile ALOHA项目莫属了。不管是在Youtube，科技网站，还是国内微信公众号视频号，到处都能看到Mobile ALOHA相关的报道和视频。我也跟着这股热潮，深入了解了一下Mobile ALOHA，整理出来一些内容，跟大家一起学习分享。

Mobile ALOHA（一种用于双手远程操作的低成本开源硬件系统），主要解决了机器人训练需要人类操作员仔细指导的移动双手机器人的高成本和技术挑战。它的成本只是现成系统的一小部分，并且可以从少至 50 次的人类演示中学习。这个新系统是在机器人技术加速发展的背景下推出的，部分原因是生成模型的成功。它的开发团队来自斯坦福大学的AI Lab，Robot Center，IRIS Lab和REAL Lab。这让我想起来17年前，著名的PR2项目也是起源于斯坦福大学，并由此孵化出了ROS （Robotics Operating System）开源项目，至今都在各种类型的机器人上广泛使用。Mobile ALOHA会不会成为下一个对机器人行业影响深远的项目呢？

当前机器人系统的局限性

当前大多数机器人操作任务都集中在桌面操作上。这包括最近一波基于Transformer和Diffusion模型而构建的模型，这些模型广泛应用于生成人工智能。然而，其中许多模型缺乏一般有用任务所需的机动性和灵活性。日常环境中的许多任务需要协调的移动性和灵巧的操作能力。

斯坦福大学的研究人员在论文中写道：“增加额外的自由度后，手臂和基本动作之间的相互作用可能会变得复杂，基本姿势的微小偏差可能会导致手臂末端执行器姿势的大幅漂移。”之前的工作尚未提供“从硬件和学习角度来看，实用且令人信服的双手移动操作解决方案”。

Mobile ALOHA解决的问题

Mobile ALOHA 是一种低成本的全身远程操作系统，用于收集双手移动操作数据。人类操作员通过遥控操作操纵机器人手臂来演示任务。该系统捕获演示数据，并使用它通过端到端模仿学习来训练控制系统。Mobile ALOHA 通过将系统安装在轮式底座上来扩展系统。它旨在为训练机器人系统提供经济高效的解决方案。整个装置包括网络摄像头和带有消费级 GPU 的笔记本电脑，成本约为 32,000 美元，这比现成的双手机器人便宜得多，后者的成本高达 200,000 美元。Mobile ALOHA 旨在同时远程操作所有自由度。操作员通过腰部与系统相连，并在工作环境中驾驶系统，同时用控制器操作手臂。这使得机器人控制系统能够同时学习运动和其他控制命令。一旦收集到足够的信息，模型就可以自主重复任务序列。远程操作系统能够连续使用多个小时。结果令人印象深刻，表明简单的训练方法使系统能够学习复杂的移动操作任务。?

Mobile ALOHA团队提供的演示视频展示了经过训练的机器人烹饪三道菜的饭菜，并执行一些精细的任务，例如打碎鸡蛋、切碎大蒜、倒液体、打开蔬菜包装以及在煎锅中翻转鸡肉。Mobile ALOHA 还可以执行各种家务任务，包括给植物浇水、使用真空吸尘器、装卸洗碗机、从冰箱中取出饮料、开门和操作洗衣机等。

模仿学习和协同训练

与机器人技术领域的许多最新成果一样，Mobile ALOHA 利用了 Transformer（大型语言模型中使用的架构）。最初的 ALOHA 系统使用了一种名为 Action Chunking with Transformers (ACT) 的架构，它将来自多个视点和关节位置的图像作为输入并预测一系列动作。Mobile ALOHA 通过向输入向量添加运动信号来扩展该系统。该公式允许 Mobile ALOHA 以最小的变化重复使用以前的深度模仿学习算法。

研究人员写道：“我们观察到，简单地将底座和手臂动作连接起来，然后通过直接模仿学习进行训练，就可以产生出色的表现“，”具体来说，我们将 ALOHA 的 14-DoF 关节位置与移动底座的线速度和角速度连接起来，形成 16 维动作向量”，“尽管任务和形态存在差异，但我们在几乎所有移动操作任务中观察到正迁移，与仅使用移动 ALOHA 数据训练的策略相比，获得了相同或更好的性能和数据效率”，“通过协同训练，我们只需对每项任务进行 50 次人类演示，就能在这些任务上取得超过 80% 的成功，与没有协同训练相比，平均绝对提高了 34%。”

这项工作还受益于最近在其他项目的不同机器人数据集上预训练模型的方法的成功。特别值得注意的是 RT-X，这是由DeepMind 和 33 个研究机构共同发起的一个项目，该项目结合了多个机器人数据集来创建控制系统，其泛化能力远远超出了训练数据和机器人形态。?

项目状态：尚未做好量产准备

尽管取得了令人印象深刻的成果，但 Mobile ALOHA 也有缺点。例如，其笨重和笨重的外形使其不适合狭窄的环境。?未来，研究人员计划通过增加更多的自由度和减小机器人的体积来改进系统。

还值得注意的是，这并不是一个完全自主的系统，可以自行学习探索新环境。它仍然需要人类操作员在其环境中进行全面演示，尽管由于其协同训练系统，它用比以前的方法更少的示例来学习任务。研究人员将探索人工智能模型的变化，使机器人能够自我改进并获取新知识。?
鉴于最近跨不同数据集和形态训练控制人工智能系统的趋势，这项工作可以进一步加速多功能移动机器人的开发。理想情况下，会带来企业级和消费者级的有用机器人，由于其他研究人员和公司的工作，这一领域正在迅速升温，例如特斯拉及其仍在开发的 Optimus 人形机器人和现代汽车及其波士顿动力部门，其中机器狗 Spot 的售价约为 74,000 美元。

Mobile ALOHA项目相关资源：论文，硬件Github仓库，ACT Github仓库

作者个人Blog: HY's Blog?