知识蒸馏
共 4 篇相关内容
对话 Shallow-π 作者：压缩 Transformer 层级，具身模型竟做得更好？
一个圆柱、一块正在转动的孔板，足以让两种机器人模型拉开差距。 在 Shallow π 的真实机器人实验中，任务要求机械臂拿起圆柱，插入移动中的小孔。层数更多的大模型，可能在等待计算结果的过程中错过位置；一个层数更少、输出接近它的小模型，却能…
上交卢策吾、浙大等团队提出 Track4Action：把「动作后的 3D 世界」蒸馏进 VLA
VLA 模型可以把图像和语言指令转换成机器人动作，训练的过程中，研究人员通常只评价机器人的动作像不像专家。至于机器人的动作会怎样改变物体、空间关系和任务状态，通常没有被明确交给模型学习。短任务可能掩盖这个缺口；一旦任务变长，或者视角、背景和…
UC Berkeley 团队提出 SuperMimic，单卡训练 3 小时超越 128 卡基线
UC Berkeley 团队提出 SuperMimic，单卡训练 3 小时超越 128 卡基线 人形机器人想要掌握行走、跳跃乃至空翻，背后需要多大的训练算力？ 过去的常规做法，是让机器人在模拟器内不断试错，依靠强化学习优化动作控制策略。动作…
银河通用推出 AstraBrain-WBC 0.5 — 人形机器人「小脑」的 GPT 时刻
小脑之于人体，如同 AstraBrain WBC 0.5 之于机器人 —— 负责全身运动控制。 6 月 19 日，银河通用正式推出全球首个面向人形机器人的通用小脑基础模型—— AstraBrain WBC 0.5 。该模型被定义为人形机器人…