Cradle，一个具有强大推理能力的代理框架，旨在探索通用计算机控制领域，以《荒野大镖客2》（Red Dead Redemption II）这款复杂的AAA级游戏作为案例研究。项目的核心目标是开发一种多模态代理（Agent），这种代理能够通过与人类相同的通用界面（即屏幕图像作为输入，键盘和鼠标操作作为输出）来执行复杂的计算机任务。
项目主要内容和目标：
-
通用计算机控制（GCC）：提出了一种新的设置，即通过仅使用计算机的屏幕图像（可能还包括音频）作为输入，并产生键盘与鼠标操作作为输出，构建能够掌握任何计算机任务的基础代理。这种方式模仿了人类与计算机的互动方式。
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
Chapple使用最流行的AI模型，如GPT，Dall-E，Ada在几秒钟内创建文本，图像，代码等。