SayPlan: 用3D场景图为基础的大规模任务规划，让机器人真正动起来！

一、SayPlan：打破LLMs规模限制，实现机器人大规模任务规划

近年来，大型语言模型（LLMs）在开发多样化任务的通用规划代理方面取得了令人瞩目的成果。然而，将这些规划应用于庞大、多层、多房间的环境中，对于机器人来说是一个巨大的挑战。为此，我们引入了SayPlan，一种基于LLM的可扩展大规模任务规划方法，利用3D场景图（3DSG）表示。为了确保我们的方法的可扩展性，我们采取了以下措施：（1）利用3DSG的分层特性，允许LLMs从较小的折叠表示中进行语义搜索，以找到与任务相关的子图；（2）通过整合经典路径规划器，减小LLM的规划范围；（3）引入迭代重新规划流程，通过场景图模拟器的反馈修正初始计划，避免不可行的动作和规划失败。我们在两个大规模环境中进行了评估，涵盖了3层楼、36个房间和140个物体，并展示了我们的方法能够根据抽象的自然语言指令，为移动操作机器人执行大规模、长期规划的任务提供可行的解决方案。

二、SayPlan：让机器人在大规模环境中轻松规划任务

1. 利用3D场景图进行语义搜索

SayPlan通过利用3D场景图的分层特性，使LLMs能够从较小的折叠表示中进行语义搜索，以快速找到与任务相关的子图。这种创新的搜索方式不仅提高了搜索效率，还保证了规划的准确性和可行性。

2. 整合经典路径规划器，缩小规划范围

为了降低LLM的规划复杂度，SayPlan将经典路径规划器与LLMs相结合，将规划范围缩小到机器人可控制的范围内。这种整合的方式不仅提高了规划效率，还确保了机器人在大规模环境中的高效行动。

3. 迭代重新规划流程，提高规划准确性

SayPlan引入了迭代重新规划流程，通过与场景图模拟器的交互，不断修正初始计划中的不可行动作，避免规划失败。这种迭代的方式使得机器人能够在执行任务过程中动态调整计划，提高了规划的准确性和可靠性。

总结

SayPlan是一种基于3D场景图的大规模任务规划方法，通过利用场景图的分层特性、整合经典路径规划器和引入迭代重新规划流程，实现了机器人在大规模环境中的高效任务规划和执行。我们的实验证明，SayPlan能够根据抽象的自然语言指令，为机器人提供可行的任务规划解决方案。让我们期待机器人在各种复杂环境中的精彩表现吧！