跳到正文
duan.cn·· 5 天前AI 评分30

从 MiroMind Agent 到混元多模态再到具身:一位研究者的三次转向

少有的同时做过Agent、多模态和具身的人

AI 导读

淏楠先后在 MiroMind 做纯语言 Agent、在混元负责多模态 RL infra,最近加入某具身公司负责模型训练,三次转向分别踩在 Agent、多模态、具身的主线切换节点上。这期播客对谈原文约 19000 字,整理后约 5600 字。

他 25 年 10 月在 MiroMind 参与纯语言 Agent 的 mid-train 和 SFT、做 Web Search 数据,年底判断继续做 Agent 大概率以造数据为主,于是转向多模态,在混元做偏底层架构的 RL infra,当时 infra、算法、reward 三者绑定形成 RL 闭环。他认为国内与海外在工程实践和 infra 上的代差没那么大,最大差距是卡不够,RL 甚至比预训练更费卡。

他把 Agent 与多模态比作围城:Agent 工作机会多、容易换下家,多模态的部分工作体验更有趣但好机会少;最近 Computer Use 受重视,做多模态理解的人处境好转,做生成的人则转向视频、世界模型或具身。他转具身的逻辑是 action 也是一种模态,动作生成同样可用 Diffusion Model,迁移门槛不高;不继续做视频生成,是因为能力提升仍靠预训练,更吃资本、大团队和公司,且半年尝试未跑出高效的 RL scaling law,数据只能靠采买或产品回流积累。

来源:duan.cn · woshipm.com