Musashi：东京大学开发并训练了一款可以自己开车的机器人

东京大学的一组研究人员开发并训练了一款名为Musashi的“肌骨类人机器人”，能够驾驶一辆小型电动车。这款机器人配备了两台摄像头代替人眼，可以“看见”前方道路及车侧后视镜的景象。它还能使用机械手旋转车钥匙、拉手刹和打开转向灯，并用防滑“脚”踩油门和刹车。

研究人员通过输入原始传感器数据，“教会”Musashi如何使用方向盘，使其能够在路口转弯并遵守交通信号灯。但也存在一些限制，比如它在转弯时只是轻轻松开刹车而不是踩油门，这使得转弯过程耗时约两分钟。此外，Musashi在加速时难以维持稳定速度，尤其是在坡度变化的道路上。

1. 视觉感知：
   • 配备两台摄像头，代替人眼进行视觉感知。
   • 能够“看见”前方道路及车侧后视镜的景象。
2. 驾驶操作：
   • 启动和操控车辆：使用机械手旋转车钥匙、拉手刹和打开转向灯。
   • 驾驶动作：用防滑“脚”踩油门和刹车。
   • 方向盘操作：通过双臂灵活地操作汽车方向盘，实现精确的转向控制。
   • 踏板操作：使用脚部的六轴力传感器控制加速和刹车踏板，实现平稳的加速和制动。
3. 遵守交通规则：
   • 基于学习的识别模块可以识别交通信号灯、行人和其他车辆，并做出相应的驾驶决策。

目前的限制

1. 转弯速度慢：
   • 转弯时只轻轻松开刹车而不是踩油门，导致转弯耗时约两分钟。
2. 加速控制问题：
   • 在加速时难以维持稳定速度，尤其是在坡度变化的道路上。

尽管存在这些问题，研究人员计划开发下一代机器人和软件，继续应对这些挑战。

Musashi 机器人的工作原理

1. 硬件设计

Musashi 的硬件设计旨在模仿人类的肌肉骨骼结构，使其具有高度的灵活性和感知能力。

• 肌肉模块：使用合成纤维（如 Dyneema）作为肌肉，通过张力测量单元和非线性弹性单元来控制肌肉的伸缩和弹性。
• 关节和骨骼结构：关节和骨骼的排列仿照人类，使其具有人类的身体比例和运动能力。模块化设计使其易于组装和维护。
• 传感器系统：包括高分辨率摄像头、六轴力传感器、温度传感器等，用于感知周围环境和自身状态。
  • 冗余传感器系统：包括高分辨率摄像头、六轴力传感器、温度传感器等，可以感知周围环境和自身状态。
  • 头部摄像头：头部安装有可移动的高分辨率摄像头，能够进行广域视野的物体识别和环境感知。
  • 手部传感器：手部安装有弹簧和负载传感器，可以感知手部施加的力并调整抓握动作。

2. 软件系统

Musashi 的软件系统结合了多种基于学习的模块，以实现自主驾驶和其他任务。

• 跨感知网络模块（静态模块）：
  • 功能：处理静态任务的控制，通过神经网络学习关节角度、肌肉长度和张力之间的关系。
  • 实现：通过实际传感器数据进行在线更新，确保控制精度。
  • 应用：用于精确控制方向盘等需要稳定操作的任务。
• 动态任务控制网络模块（动态模块）：
  • 功能：处理动态任务的控制，通过神经网络学习任务状态与控制命令序列之间的动态关系。
  • 实现：通过收集任务状态变化的数据进行训练，并使用反向传播优化控制命令序列。
  • 应用：用于快速适应的任务，如加速和刹车操作。
• 反射模块：
  • 功能：执行快速反射控制，确保安全和高效的运动。
  • 实现：包括肌肉放松控制（MRC）和安全反射控制。MRC通过解算四次规划问题最小化不必要的肌肉张力，安全反射控制则根据肌肉张力和温度调整肌肉长度。
  • 应用：在长时间操作中减少肌肉张力，如长时间保持方向盘的姿态。
• 识别模块：
  • 功能：进行视觉和声音的识别。
  • 实现：使用 Yolo v3 进行物体识别，通过神经网络处理声谱图进行声音识别。
  • 应用：用于识别交通信号灯、行人、车辆等环境信息，并对汽车喇叭声等声音进行响应。

3. 工作流程

Musashi 机器人的工作流程可以分为以下几个步骤：

1. 环境感知：
   • 通过头部摄像头和其他传感器获取环境信息。
   • 识别交通信号灯、行人、车辆等重要信息。
2. 决策与规划：
   • 根据识别到的环境信息，使用静态和动态控制模块生成相应的运动命令。
   • 动态模块用于处理快速变化的任务（如加速和刹车），静态模块用于处理稳定任务（如方向盘操作）。
3. 执行控制：
   • 通过反射模块进行快速调整，确保动作的安全和高效。
   • 发送控制命令给肌肉模块，执行具体的运动操作。
4. 反馈与调整：
   • 实时监测各传感器数据，通过在线学习和调整神经网络，优化控制精度。
   • 处理可能的异常情况，如识别障碍物或发生机械故障时的紧急反应。

应用示例

• 方向盘操作：通过静态模块控制双臂操作方向盘，使用反射模块调整肌肉张力，防止疲劳。
• 踏板操作：通过动态模块控制加速和刹车踏板，使用识别模块识别环境变化并做出相应调整。
• 识别与决策：基于视觉和声音识别结果，调整驾驶操作，实现自主驾驶。

实验结论

1. 成功之处：
   • Musashi机器人能够灵活地操作汽车的加速和刹车踏板，并双臂操作方向盘。
   • 基于学习的控制和识别系统能够有效地识别环境信息并做出相应的操作。
   • 实验展示了机器人在复杂环境下自主驾驶的潜力。
2. 改进空间：
   • 提高方向盘操作的速度和流畅性。
   • 优化车速跟踪性能，特别是在实际驾驶环境中。
   • 增强识别系统在夜间和复杂光照条件下的性能。
3. 未来工作：
   • 进一步集成和优化硬件和软件系统，实现更加稳定和高效的自主驾驶。
   • 进行更多的户外实验，收集数据以改进学习模型和控制算法。
   • 开发新的识别和控制技术，以应对更复杂的驾驶场景和任务。

论文：https://arxiv.org/pdf/2406.05573

信息来源：https://x.com/KKawaharazuka/status/1800453023493484846