表征学习

共 4 篇相关内容

杨立昆 JEPA 最新论文,端到端规划的下一程在哪?

杨立昆 JEPA 最新论文,端到端规划的下一程在哪?

有关具身智能,JEPA 是世界模型内一个无法回避且值得反复讨论的技术路线。它拥有很多颇具希望的特质:更好的抗干扰能力、更高效的计算与训练效率、极低的数据标注依赖......更重要的是,JEPA 基于表征学习来捕捉物理世界的规律,从而进行实 …

杨立昆点赞,浙大孙俊涵、清华赵昊等提出 INTACT:免去 JEPA 世界模型的「搜索税」

杨立昆点赞,浙大孙俊涵、清华赵昊等提出 INTACT:免去 JEPA 世界模型的「搜索税」

世界动作模型的核心在于,先预测「下一步发生什么」,并为其设立目标,再让机器人看一眼目标,自己决定执行的每一步该做什么。 然而当前的主流方案有一个别扭的设计:训练时,模型学会「给定当前画面和动作,预测接下来发生什么」;部署时,控制器却从随机噪…

SharpaDex v1.0 正式开源:发布约 300 小时真实触觉操作数据,覆盖 59 种任务

SharpaDex v1.0 正式开源:发布约 300 小时真实触觉操作数据,覆盖 59 种任务

10 月 22 日,Sharpa 正式开源灵巧操作数据集 SharpaDex v1.0。该数据集包含约 300 小时真实机器人操作数据、28,993 条示教和 32,396,172 帧数据 ,覆盖 59 种操作任务。根据 Sharpa 官方…

贾奎团队新作:让世界动作模型真正理解三维空间

贾奎团队新作:让世界动作模型真正理解三维空间

UNITAS 将观测、动作与场景变化统一至同一个米制三维坐标系:以点轨迹表征人手与夹爪的运动,用场景流描述场景点的位移,让世界动作模型不再单纯依靠图像推测环境演化。模型参数量仅 1.7 B,在 LIBERO 基准测试上取得 99.8 % 任…