Google机器人团队获ICRA 2023 机器人学习方向最佳论文奖：机器人实体控制的大语言模型程序

这篇论文主要讨论了大型语言模型（LLM）在机器人控制方面的应用。作者们指出，尽管LLM在理解和生成自然语言方面表现出色，但其在实际应用中，如机器人控制等领域的应用仍然有限。因此，他们提出了一种新的方法，即使用LLM编写代码来控制机器人的行为。

他们发现，编写代码的LLM在规划、策略逻辑和控制方面表现出色。这些模型可以被重新用于编写机器人策略代码，给出自然语言命令（格式化为注释）。策略代码可以表达处理感知输出（例如，开放词汇对象检测器）和参数化控制原语API的函数或反馈循环。当提供了几个示例语言命令和相应的策略代码（通过少量提示），LLM可以接收新的命令并自主重新组合API调用以生成新的策略代码。此外，编写代码的模型可以表达各种算术运算以及基于语言的反馈循环。他们不仅可以推广到新的指令，而且由于在数十亿行代码和注释上进行了训练，也可以根据上下文为模糊的描述（例如，“更快”和“向左”）规定精确的值，以引出行为常识。

方法部分，作者们详细介绍了如何使用大型语言模型（LLM）生成代码作为策略。他们的方法主要包括以下几个步骤：

1.定义语言模型程序（LMP）：作者们首先定义了语言模型程序（LMP）的概念。LMP是由语言模型生成并在系统上执行的任何程序。他们的工作主要研究了一类名为“代码作为策略”的LMP，这类LMP将语言指令映射到代码片段，这些代码片段可以（i）响应感知输入（即来自传感器或传感器上层的模块），（ii）参数化控制原语API，并（iii）直接在机器人上编译和执行。

2.生成LMP：作者们展示了如何使用LLM生成LMP。他们提供了一些示例，如何将自然语言指令（格式化为注释）转化为代码。例如，他们展示了如何使用LLM编写代码来控制机器人的行为，如移动物体，识别物体，以及执行更复杂的任务。

3.执行LMP：为了执行LMP，他们首先检查它是否安全运行，确保没有导入语句，没有以__开头的特殊变量，也没有对exec和eval的调用。然后，他们使用Python的exec函数，将代码作为输入字符串，并使用两个字典形成该代码执行的范围：（i）全局变量，包含生成的代码可能调用的所有API，和（ii）局部变量，一个将在exec期间定义的变量和新函数填充的空字典。如果LMP预计会返回一个值，他们会在exec完成后从局部变量中获取它。

4.提示生成LMP：生成LMP的提示包含两个元素：（i）提示，例如导入语句，告诉LLM哪些API可用以及如何使用这些API；（ii）示例，这些是指令到代码对，展示了如何将自然语言指令转化为代码。这些可能包括执行算术运算，调用其他API，以及编程语言的其他特性。

5.高级LMP：作者们还展示了如何使用LLM生成更复杂的代码，如使用控制流（如if-else和循环语句）和嵌套函数调用。他们还展示了如何使用LLM生成函数以供未来使用，以及如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。

在这篇论文的实验部分，作者们展示了如何使用大型语言模型（LLM）编写代码来控制机器人的行为。他们提供了一些示例，包括如何使用LLM编写Python脚本，如何使用第三方库进行复杂操作，以及如何使用第一方库进行操作。他们还展示了如何使用LLM编写更复杂的代码，如使用控制流（如if-else和循环语句）和嵌套函数调用。

在实验中，他们使用了一些具体的任务来展示他们的方法的效果。例如，他们展示了如何使用LLM编写代码来移动物体，如何识别物体，以及如何执行更复杂的任务。他们还展示了如何使用LLM生成函数以供未来使用，以及如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。

以下是一些具体的实验示例：

1.他们展示了如何使用LLM编写代码来移动物体。例如，他们展示了如何使用LLM编写代码来移动一个名为“红色块”的物体。他们首先获取该物体的位置，然后将其向右移动一定的距离。

2.他们展示了如何使用LLM编写代码来识别物体。例如，他们展示了如何使用LLM编写代码来识别一个名为“蓝色块”的物体。他们使用了一个开放词汇的物体检测器来完成这个任务。

3.他们展示了如何使用LLM编写代码来执行更复杂的任务。例如，他们展示了如何使用LLM编写代码来将一个名为“蓝色块”的物体放在一个名为“蓝色碗”的物体上。

4.他们展示了如何使用LLM生成函数以供未来使用。例如，他们展示了如何使用LLM编写代码来定义一个名为“get_total”的函数，该函数接受一个名为“xs”的参数，并返回其总和。

5.他们展示了如何使用LLM遵循良好的抽象实践，避免将所有代码逻辑“扁平化”。例如，他们展示了如何使用LLM编写代码来定义一个名为“get_objs_bigger_than_area_th”的函数，该函数接受两个参数——一个名为“obj_names”的物体名列表和一个名为“bbox_area_th”的阈值，然后返回所有大于该阈值的物体的名字。

这些实验结果表明，LLM可以有效地用于编写控制机器人行为的代码，具有很高的实用性和广泛的应用前景。

最后作者们总结了他们的研究成果，并对未来的研究方向进行了展望。他们认为，大型语言模型（LLM）在编写代码方面的能力为机器人控制提供了新的可能性。通过使用LLM，我们可以将自然语言指令转化为机器人策略代码，从而实现更复杂的机器人行为。此外，他们还指出，LLM不仅可以理解和生成自然语言，还可以通过使用"say(text)"作为一个可用的动作原语API，参与人机对话和问答。他们的研究结果表明，LLM可以有效地编写Python程序，并能够处理各种复杂的任务，如移动物体，识别物体，以及执行更复杂的任务。他们的方法不仅可以广泛应用于机器人控制，还可以用于其他需要编写代码的领域。