π0：通用机器人策略模型 让机器人具备在人类环境中自主执行多种复杂任务的能力

Physical Intelligence 公司推出了 π0（pi-zero），这是一个通用的机器人策略模型，专为实现机器人的“物理智能”而设计。即让机器人具备在人类环境中自主执行多种复杂任务的能力。

它是一种“通用机器人策略模型”（Generalist Policy），能够跨多种机器人和任务进行操作，实现从物体分类到动态操控的多种能力。这一模型的出现标志着机器人从特定任务的“专家”向多任务的“通才”发展的重要一步。

该模型借助图像、文本和动作数据进行训练，旨在让机器人具备灵活、适应性强的物理操作能力。

与当前仅能执行单一任务的传统机器人不同，π0 让机器人能够执行多种复杂任务，如叠衣服、收拾桌子、组装盒子等。

π0 的主要功能与特点

1. 多任务处理能力
   • π0 模型可以执行广泛的任务，如叠衣服、收拾桌面、组装盒子等。这些任务通常需要复杂的手部操作， π0 通过训练多种机器人完成这些操作任务，使其具备极高的适应性和操作灵活性。
   • 通过整合视觉、语言和动作数据，π0 能够将多个机器人和不同任务的经验融会贯通，实现多任务处理。
2. 零样本执行与任务微调
   • π0 可以通过“零样本”方式执行任务，即无需特定任务的样本数据即可完成指令，适合在动态环境中直接应用。同时，它也支持“微调”功能，可以根据具体应用场景进行数据增强训练，从而提高复杂任务的执行效果。
3. 视觉-语言-动作模型架构
   • π0 使用了一种“视觉-语言-动作”模型架构，不仅处理视觉和语言输入，还生成连续的动作指令，能以每秒 50 次的频率进行实时控制。这种高频控制确保机器人在动态任务中具备灵活的运动调整能力。
4. 广泛的数据集支持
   • 该模型的训练数据包含来自 8 种不同机器人的交互数据，以及开放的图像和文本数据集，使模型具备跨平台和跨任务的迁移学习能力。
   • 数据集涵盖了丰富的任务，包括复杂的物体操控和实时互动，例如：将碗叠放在一起，精准放置物品，甚至处理混杂的物体。
5. 面向未来的机器人应用
   • π0 的设计目的是为机器人提供普遍的物理智能，为未来的家庭和商业机器人应用奠定基础。Physical Intelligence 表示，未来的研发将专注于让机器人实现更高的自主性、长远规划和动态适应性，使其能够在复杂环境中可靠地工作。

π0 的模型架构与技术特点

π0 是一种多模态、通用的机器人策略模型，结合了视觉、语言和动作数据，以实现复杂的物理任务操作。它在架构和技术方法上采用了独特的设计，使其能够适应多任务、多机器人的操作场景。

1. 视觉-语言-动作模型架构

• 视觉-语言模型（VLM）：π0 以预训练的视觉-语言模型（如 GPT-4V 或 Gemini）为基础，这些模型在大量互联网数据上进行训练，能够有效处理语义信息并理解文本和视觉内容。
• 动作输出模块：为了让 VLM 适应连续的物理控制任务，π0 增加了一个动作输出模块，可以根据视觉和语言输入生成动作指令。该模块通过“流匹配”机制，能够以高达每秒 50 次的频率输出低级运动指令，确保机器人在动态环境中能进行精确操控。
• 多模态融合：通过将视觉、语言和动作整合，π0 能够在接收到用户指令后，生成相应的物理动作，使其适应复杂任务的要求。

2. 流匹配方法（Flow Matching）

• 流匹配机制：π0 使用了一种基于扩散模型变体的“流匹配”方法。这种方法通过对连续的运动指令建模，实现了高频率的动作控制。这与传统的离散指令控制不同，流匹配可以输出连续的动作，适合高精度的手部操控任务。
• 实时控制：流匹配方法通过连续的流输出，不仅提高了操作的流畅性，还减少了因动作不连续造成的误差，使 π0 能够完成如叠衣服、装箱等需要高度细腻的操作。

3. 跨机器人和多任务训练

• 多机器人数据集：π0 的训练数据来源于 8 种不同类型的机器人，涵盖了广泛的物体操控任务，例如收纳物品、清理桌面、折叠衣物等。通过多样化的数据集训练，π0 能够在不同任务和机器人平台上迁移并适应操作。
• 任务多样性：训练数据中包含各种操作场景，每个任务的动作复杂性不一，从简单的物品分类到涉及多个步骤的复杂任务。这种多样化训练让模型获得了更广泛的操作经验，具备应对实际复杂场景的能力。

4. 零样本学习和微调能力

• 零样本任务执行：π0 能够在未接受特定任务训练的情况下，直接在新任务上进行操作（即“零样本”学习）。这种能力使得 π0 适合动态环境，无需重新训练即可适应不同任务。
• 微调机制：对于需要精确操作的复杂任务，π0 还支持微调。通过在少量高质量数据上进行微调，模型能够优化特定任务的表现，例如整理桌面、装配物品等。这种方法类似于大语言模型的后期训练，通过微调实现对特定任务的适应性。

5. 基于视觉-语言的语义理解与增强

• 预训练模型的语义继承：π0 利用预训练视觉-语言模型的语义理解能力，从互联网规模的数据中继承丰富的语义知识。通过这些模型，π0 可以理解用户指令的语义，并将其转化为物理动作。
• 语义增强的动作生成：在接收到任务指令后，π0 通过其多模态理解架构，将语言和视觉内容转化为动作输出，实现了复杂的任务分解和逐步执行。例如在整理物品任务中，π0 可以根据物品位置和指令，逐步将物品放置到指定位置。

6.多机器人兼容性：

• π0模型能够处理多种不同类型的机器人配置，包括单臂机器人、双臂机器人和移动机械臂。它的架构设计允许模型适应不同的动作空间和配置，确保在多种硬件平台上实现通用性。
• 通过跨机器人数据的训练，π0能够在一个通用模型中整合多种机器人动作表达，使其在任务和设备间具有更强的适应性。

7.分阶段训练策略（预训练和微调）：

• π0采用分阶段训练策略。首先进行大规模的预训练，模型在多样化的任务数据上学习通用的视觉、语言和基本的动作控制能力。
• 在预训练的基础上，进行后续微调，使模型能够更精准地执行复杂的特定任务。这种策略确保模型既有通用性，又具备执行特定任务的精细化能力。

8.动作专家模块：

• π0在VLM的基础上增加了动作专家模块，专门用于处理机器人动作。这一模块将视觉和语言输入转化为具体的动作输出，利用单独的参数和流匹配技术生成连续的动作序列。
• 动作专家模块的设计类似于混合专家模型（Mixture of Experts），将视觉、语言处理和动作生成进行分离并优化，使得模型能够同时处理多模态输入和复杂动作输出。

9.多模态融合与动态任务指令：

• π0能够处理多模态的任务指令，包括自然语言和视觉信息。在处理复杂任务时，π0可以接受动态的指令调整，通过将视觉和语言信息融合，确保机器人在任务中更灵活地应对多变的场景。

π0 模型的评估结果

在测试 π0 的物理操作能力时，Physical Intelligence 公司对其在多任务和不同机器人的应用场景中进行了严格评估。以下是 π0 相对于其他模型的表现评估结果。

1. 评估任务和标准

• 任务范围：π0 被测试在多个复杂任务上，包括叠衣物、收拾餐具、组装盒子等，这些任务要求机器人具备高度的灵活性和适应性。
• 评分标准：评估采用分级评分体系，成功完成任务可得 1.0 分，部分成功的任务按比例得分（例如，完成一半任务可得 0.5 分）。评估结果以平均分来衡量模型在各项任务上的综合表现。

2. 与其他模型的对比

• 对比模型：π0 的表现与其他机器人策略模型进行了对比，包括 OpenVLA（7B 参数，离散动作控制）和 Octo（93M 参数，扩散模型输出）。
• 零样本测试结果：π0 在所有测试任务中表现出色，尤其在更复杂的任务（如分类与叠放物品）中展现了出色的适应性和灵活性。
• 得分表现：π0 在所有测试任务中的平均分远超其他模型，表现优异。其简化版本 π0-small 虽未使用预训练的视觉-语言模型，但仍优于 OpenVLA 和 Octo，且π0 完整版的性能比 π0-small 高出 2 倍以上。

3. 关键任务结果

• 叠衣物：π0 在此任务中表现极佳，能够完全自主地将衣物从烘干机中取出、放置到桌面上并折叠整齐。与其他模型不同，π0 具备识别和调整的能力，即便在任务中受到干扰，也能重新恢复并完成任务。
• 收拾桌面：π0 在桌面清理任务中表现出色，不仅能将餐具和垃圾区分开，还会根据物体的不同属性，使用不同的操作策略。例如，将多个盘子叠在一起搬运到指定位置，或在将盘子放入收纳篮之前先抖落掉上面的残渣。
• 组装盒子：在这个任务中，π0 能够从扁平的纸板开始，将其折叠成盒子结构，并完成各个卡扣的固定。此任务要求机器人能够根据实时的任务进度进行调整，而π0 能够在任务失败或卡住时自我调整以继续完成。

一些案例：

以下是 π0 在一些复杂任务中的具体应用案例，这些任务展示了该模型在多任务环境中的灵活性和适应性：

1. 叠衣服

• 任务描述：机器人需要从烘干机中取出衣物，放在桌面上并将其叠成整齐的衣物堆。
• 任务挑战：该任务不仅需要精准的手部控制，还要求机器人在应对不同衣物形状和厚度时能够灵活调整动作。传统机器人在遇到衣物缠绕或变形时可能难以操作。
• π0 的表现：π0 能够识别并处理不同衣物的形态，适时调整其抓取力度和折叠手法。即便在任务过程中受到干扰（如有人故意打乱衣物堆），它也能重新规划操作顺序，顺利完成叠衣物的任务。

当有人尝试以各种不同方式进行干预时，机器人能够恢复重新执行任务。

2. 收拾餐桌

• 任务描述：机器人需要将桌面上的餐具和垃圾分别放入指定的收纳篮和垃圾桶中。
• 任务挑战：餐桌上的物品种类繁多，且大小、形状、材质各异，这要求机器人具备高度的分类能力和灵活的操作策略。
• π0 的表现：π0 展示了智能的分类能力，可以通过视觉和语义理解，将餐具（如盘子、刀叉）堆叠在一起搬到收纳篮中，并将垃圾分离后投入垃圾桶。此外，π0 能够在操作中采用更为高效的策略，例如一次性抓取多个物体，或在放入前抖落盘子上的残渣。

3. 组装盒子

• 任务描述：从一块扁平的纸板开始，将其折叠成盒子，并完成每个折叠边的固定。
• 任务挑战：盒子组装需要对每一步的折叠和固定位置准确无误，且在折叠过程中需使用双臂或借助桌面以避免结构松散。
• π0 的表现：π0 通过视觉-动作模型的精准控制，能够在折叠过程中自我调整，即便遇到折叠失败或纸板滑动等情况，也能快速调整位置继续组装。该模型甚至能灵活使用桌面作为支撑，确保盒子在折叠和固定过程中不会松散。

4. 整理桌面杂物

• 任务描述：整理桌面上的多种杂物，包括笔、文件夹、小物件等，将它们分门别类地放置在不同区域。
• 任务挑战：不同物品可能形状各异、材质多样，且需要合理的摆放和归类。传统机器人需要预先设置动作程序，难以在复杂的环境中灵活调整。
• π0 的表现：π0 能够根据物品的外观和属性，将物品按照类别整理，例如将书本和文件整齐堆放在一起，将笔类物品放入笔筒，垃圾则直接投入垃圾桶。π0 的操作展现出人类般的思维逻辑，使桌面整理更为高效且直观。

详细介绍：https://www.physicalintelligence.company/blog/pi0

论文：π₀.pdf