AI机器人

We, Robot 是特斯拉公司展示其在自动驾驶技术和机器人技术领域愿景的页面。它强调了特斯拉对于创建可持续未来、提高交通效率、可负担性和安全性的承诺。该页面介绍了特斯拉的全自动驾驶技术（监督）以及未来自动驾驶汽车和机器人的潜在应用，如Robotaxi、Robovan和Tesla Bot。这些技术旨在通过自动化提高日常生活的便利性，同时减少交通事故，降低交通成本。

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

NVIDIA Project GR00T是一种通用基础模型,可在仿真和真实世界中改变人形机器人的学习方式。通过在NVIDIA GPU加速模拟中进行训练,GR00T使得人形机器人能够从少量的人类演示中通过模仿学习和NVIDIA Isaac Lab进行强化学习,并可从视频数据生成机器人动作。GR00T模型接受多模态指令和过去的交互作为输入,并输出机器人需要执行的动作。

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

OK-Robot是一个开放的模块化框架,实现了在任意家居环境下根据语言指令进行零样本物品搬运任务。该框架采用了模块化设计,使用3D VoxelMap进行开放词汇的导航,AnyGrasp和LangSam进行开放词汇的抓取,以及放置原语进行物品放置。框架不需要预先训练,可以实现语言指令的零样本泛化。

Alter3是一个基于GPT-4的拟人机器人,能够通过自然语言指令生成各种人类动作,实现零次学习。它具有43个关节自由度,可以自由运动,同时结合面部表情识别和生成,实现复杂的交互。用户只需要提供语言指令,Alter3就可以自主调整代码,生成相应运动,无需人工迭代调整。还可以通过语言反馈来优化动作,形成运动记忆。这种结合语言理解和身体运动的系统,大大提升了人机交互的潜力。