开云-NVIDIA 加速人形机器人发展

[导读]开辟者可以拜候新的NVIDIA NIM微办事，用在Isaac Lab和Isaac Sim 中的机械人仿真、OSMO 机械人云计较编排办事和长途操作数据捕捉工作流等 丹佛—SIGGRAPH—本地时候 2024 年 7 月 29 日—为加快全球人形机械人的成长，NVIDIA 在本日公布，为全球领先的机械人制造商、AI 模子开辟者和软件制造商供给一套办事、模子和计较平台，以开辟、练习和构建下一代人形机械人。 整套产物包罗用在机械人仿真和进修的全新和框架、用在运行多阶段机械人工作负载的编排办事，和撑持 AI 和仿真的长途操作工作流，该工作流答应开辟者利用少许人类演示数据来练习机械人。 NVIDIA开创人兼首席履行官黄仁勋暗示：“AI 的下一海浪潮是机械人，此中最使人兴奋的成长之一是人形机械人。我们正在推动全部 NVIDIA 机械人仓库的成长，面向全球人形机械人开辟者和公司开放拜候，让他们可以或许利用最合适其需求的平台、加快库和 AI模子。” 借助 NVIDIA NIM和OSMO加快开辟 NIM微办事供给了由 NVIDIA 推理软件供给撑持的预构建容器，使开辟者可以或许将摆设时候从数周缩短到几分钟。机械人专家将可以或许经由过程两项新的 AI 微办事，在 NVIDIA Isaac Sim™（基在 NVIDIA Omniverse™ 平台构建的机械人仿真参考利用）中加强生成式物理 AI 仿真工作流。 MimicGen NIM 微办事可按照 Apple Vision Pro 等空间计较装备记实的长途操作数据，生成合成活动数据。Robocasa NIM 微办事可在 OpenUSD（一个用在在 3D 世界中进行开辟和协作的通用框架）中生成机械人使命和仿真停当情况。现已推出的 NVIDIA OSMO 是一项云原生托管办事，答应用户跨散布式计较资本来调和和扩大复杂的机械人开开云体育app辟工作流，不管是在当地仍是在云端。OSMO 年夜年夜简化了机械人练习和仿真工作流，将摆设和开辟周期从数月缩短到一周内。用户可以对各类使命进行可视化治理，包罗合成数据生成、模子练习、强化进修和年夜范围的人形机械人、自立移念头器人和工业机械臂软件在环测试。 为人形机械人开辟者供给进步前辈的数据捕捉工作流练习人形机械人的根本模子需要年夜量的数据。长途操作是获得人类演示数据的方式之一，但这个进程正变得愈来愈昂贵和漫长。经由过程在 SIGGRAPH 计较机图形年夜会上展现的 NVIDIA AI 和 Omniverse 长途操作参考工作流，研究者和 AI 开辟者可以或许从少量长途捕获的人类演示中生成年夜量合成活动和感知数据。起首，开辟者利用 Apple Vision Pro 捕捉少许长途操作演示，随后在 NVIDIA Isaac Sim 中仿真这些录相，并利用 MimicGen NIM 微办事基在录相生成合成数据集。开辟者可使用真实数据和合成数据对 Project GR00T 人形机械人根本模子进行练习，以节流时候和下降本钱。然后，他们可使用 Isaac Lab 中的 Robocasa NIM 微办事（一个机械人进修框架）来生成经验并从头练习机械人模子。在全部工作流中，NVIDIA OSMO 将计较使命无缝地分派给分歧的资本，为开辟者削减了数周的治理工作量。通用机械人平台公司傅利叶看到了利用仿真手艺综合生成练习数据的优势。傅利叶首席履行官 Alex Gu 暗示：“人形机械人的开辟极为复杂，这项工作需要从实际世界中繁琐地获得年夜量真实数据。NVIDIA 的全新仿真和生成式 AI 开辟者东西将有助在指导和加快我们的模子开辟工作流。”扩年夜 NVIDIA 人形机械人开辟者手艺的拜候渠道NVIDIA 供给了三个计较平台来简化人形机械人的开辟，别离是：用在练习模子的 NVIDIA AI 超等计较机；基在 Omniverse 构建的 NVIDIA Isaac Sim，使机械人可以在仿真世界中进修和完美技术；和用在运行模子的 NVIDIA Jetson™ Thor 人形机械人计较机。开辟者可以按照具体需求来拜候和利用全数平台或此中的任何部门。经由过程新的 NVIDIA 人形机械人开辟者打算，开辟者可以提早获得这些新产物和最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形机械人根本模子。首批插手初期拜候打算的企业有 1x、波士顿动力公司、字节跳动 ByteDance Research、Field AI、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和 Skild AI。波士顿动力公司首席手艺官 Aaron Saunders 暗示：“波士顿动力公司与 NVIDIA 在鞭策机械人手艺成长方面有着悠长的紧密亲密合作汗青。我们很是兴奋看到这项工作的功效正在加快全部行业的成长。而要想取得最早进的手艺，初期拜候打算无疑是最好的路子。”可用性开辟者此刻可以插手 NVIDIA 人形机械人开辟者打算，以拜候 NVIDIA OSMO 和 Isaac Lab，并将很快可以或许拜候 NVIDIA NIM 微办事。

7月5日动静，2024世界人工智能年夜会(WAIC)日前在上海揭幕，国内首款开源鸿蒙全尺寸人形机械人在年夜会表态。