2026年6月1日到5日,全球机器人与自动化领域的顶级学术会议ICRA 2026在奥地利维也纳隆重召开。我所物理智能团队与深圳大学等合作的论文《IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models》,从众多优秀论文中脱颖而出,荣获最佳论文奖(自动化方向),获奖理由为“提出并实现了一种新颖的工业产线多机器人任务规划与程序生成框架”。
论文基本信息:
论文标题:IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models
论文地址:https://arxiv.org/abs/2603.02669
项目主页:https://xiangyusu611.github.io/imr-llm/

图 1. 方法概览
现代工业产线往往需要多个机器人协同完成复杂制造任务,为保证任务顺利完成,大多仍依靠人工进行任务规划并编写执行程序。一旦任务或产线发生变化,需要重复进行繁重的人工操作,无法满足对灵活性的要求。大语言模型在此类任务中展现出的能力为解决这一问题提供了新的思路。然而,现有基于大语言模型的方法大多面向简单的家居场景,难以满足工业产线中严格的时空约束和对执行正确性的要求。针对这一挑战,论文提出了 IMR-LLM 框架,该框架充分发挥大语言模型的语义理解能力,再结合结构化工具完成约束求解和可执行性保证,实现从自然语言任务描述到高效调度和可执行程序的自动生成。实验结果表明,该方法具有良好的跨任务跨产线泛化性,在所有指标上均优于现有基线方法。在真实产线部署中,该方法将人工操作时间从数小时缩短到数分钟,展现出良好的应用潜力。
相关工作
现有方法大多面向简单的室内家居场景,此类任务执行步骤之间相对独立且执行程序较为简单,因此可以直接使用大语言模型生成任务规划和执行程序。然而,工业产线中工件的工序顺序和加工资源使用具有严格限制,执行程序不仅更长,其具体步骤还会受到产线布局、机器人配置等多种环境因素的影响。因此,直接依赖大模型生成规划和程序,极易产生逻辑幻觉,生成的结果往往看似合理,却在执行时因为资源抢占或前置工序未完成等原因导致整个产线停滞。
方法
论文所提方法分为任务规划和程序生成两个阶段,分别解决“由哪台机器人在什么时间完成任务的哪一部分?”以及“具体该怎么做?”这两个核心问题。
在任务规划阶段,该方法首先利用大语言模型理解自然语言任务描述,将任务分解为一系列工序,完成机器人分配,并确定同一工件工序的执行顺序。随后,输出结果将自动转化为结构化析取图。在该图中,工序被表示为节点,工序之间的先后关系、资源占用关系被表示为不同类型的边。这样一来,原本由自然语言描述的复杂工业任务,就被转化为一个可以由传统优化工具处理的调度问题。随后,方法调用现有求解器,在满足工序顺序和资源约束的前提下,生成可行且高效的任务调度方案。
在程序生成阶段,该方法并不直接要求大语言模型一次性生成完整的长程序,而是从少量已有程序样例中归纳可复用的动作模式和程序结构,并据此构建工序流程树。随后,针对具体工序和环境配置,从流程树中选择合适的执行路径,组合得到可执行代码。这样一来,复杂的长代码生成问题被转化为较为简单的路径匹配和选择问题,极大降低了模型的推理负担。

图 2. 方法流程图
实验数据集
为全面评估方法在不同工业产线中的适用性,论文构建了 IMR-Bench 数据集。该数据集面向船舶制造等重型装备制造行业,包含 23 个真实工业场景和 50 个制造任务,覆盖不同产线布局、机器人配置和工序组织方式。任务按照难度划分为三个等级,单个任务最多包含 24 道工序,能够较好反映工业产线中长流程、多机器人协同和复杂时空依赖等特点。
定量实验
论文将 IMR-LLM 与现有基线方法(如 SMART-LLM、LaMMA、 LiP-LLM 以及其变体)进行了综合对比,并从任务规划、程序生成以及总体成功率三方面进行评估。定量结果显示,该方法在所有指标上均优于现有基线,且随着任务复杂度上升,优势更加明显。

图 3. 定量结果
定性结果
论文在模拟环境中充分证明了算法面对制造任务变化和产线调整时的泛化能力。在图4中,机器人需要打磨两种类型的工件并放置在对应的托盘中,所提方法可充分利用机器和机器人资源,高效完成任务。

图 4. 场景 1 任务 1 执行结果
图 5 中的产线保持不变但任务更加复杂。机器人需要协作打磨并分拣三种数量不同的工件,所提方法可以把数量最多的工件(图中高亮为紫色)分配到两条加工路径上以节省加工时间。

图 5. 场景 1 任务 2 执行结果
图 6 中的任务保持不变,但产线布局和资源数量发生变化。机器人需要在新的产线中协作完成相同的打磨分拣任务,所提方法可以根据资源配置的变化自适应调整任务分配和加工路径,体现出较强的泛化能力。

图 6. 场景 2 任务 2 执行结果
真机部署
此外,论文还在多个真实工业产线中对方法进行了验证。结果表明,该方法能够适应不同产线环境和制造任务需求,生成合理的任务规划与可执行程序,进一步证明了其在实际工业场景中的应用能力。

图 7. 真实产线部署结果
结论
论文提出了 IMR-LLM,一个面向工业产线多机器人任务规划与程序生成的全新框架,其核心思想是让大语言模型负责语义理解,让结构化工具负责约束满足与可执行性保证。此外,论文基于真实工业需求构建了 IMR-Bench 数据集,包含了 23 个场景和 50 个不同难度的制造任务。最后,在模拟环境和真实产线部署中,证明了该方法有效克服了传统端到端生成易引发的逻辑死锁与代码执行失败问题,显著提升了调度效率与任务成功率。未来工作包括进一步探索执行反馈机制的引入,构建一个实时的“感知-推理-执行-纠错”闭环系统,增强算法在面对突发硬件故障或需求动态变化时的自适应能力,从而推动大模型在更复杂、更开放的工业具身智能场景中扎实落地。
附件下载: