About this episode
今天的嘉宾是月之暗面创始人兼CEO杨植麟，距离他上一次来我们的节目（《商业访谈录》59集）已经过去1年半。 就在刚刚过去的7月，Kimi K2模型发布，引发了比较广泛的关注。K2是一个基于MoE架构的开源编程和Agentic大语言模型。形象来说，模型借助编程能力走出封闭的“缸中之脑”，长出了“手”，开始操控外部数字世界。 今天这集节目我和杨植麟聊了聊K2的研发和他当下的技术认知、技术判断。 以及， 在过去一年的舆论风暴与创业起伏中，作为创始人，他的心情与思考。 01:49 一座无限的山 这有点像我最近在看的一本书：The Beginning of Infinity（无穷的开始） 也许有一天会发现，这座雪山没有尽头，我希望它一直没有尽头 但它还是一个“缸中之脑”：想象一个鱼缸，你把一个脑子放在里面，跟外界没有联系 不管是基于长思考的强化学习，还是Agent的强化学习，都指向同一个东西：test-time scaling（测试时扩展） 还有一个很有意思的趋势是，现在有更多模型公司去做“一方的Agent产品” L1到L5不一定是串行关系，Claude就bet这一点：它在Reasoning上做得不是特别多，但在Agent上做得非常好 只有当模型参与到开发过程，才能解锁真正的Innovator（L4）阶段 24:58 K2是乔戈里峰 K2的重点有几个：一，我们希望它是一个非常好的基础模型 我们希望能最大化使用每一份数据，就是所谓token efficiency——喂一样多的数据，“脑子”长得更多 我们会对数据做很多Rephrase（改写）操作 我们很关注Muon优化器，它对token efficiency提升很大 二，我们希望K2有好的Agentic能力，对于Agentic模型来讲，最大挑战是模型的泛化 它可能是一个从“缸中之脑”变成可以跟世界交互，因为所谓Agent最重要的特征是，可以多轮地使用工具 人是所谓的universal constructor（万能构造器） 有一种潜在思路，需要用更AI native（原生人工智能）的方式去训练AI Muon你去训的时候，它会炸 54:08 既简单又复杂的系统 为什么Kimi从闭源转向开源？ 模型训练完成，产品也基本完成了，做交互上的改进当然有价值，但那是锦上添花的一步 多模态不损伤“脑子”已经很好了 你可能学出来的多模态是个“傻的多模态”，我们希望它是个“聪明的多模态” Scaling Law遇到数据墙了，这是客观事实 数据飞轮很依赖外部环境的feedback（反馈），我们不希望feedback有很多噪声，但现在没有把这个问题解决得非常好 现在看起来，基于FLOPs的scaling是更有效路径，但这个平衡什么时候会发生变化？ 很多Long Context架构会影响“智商” 纯粹的Linear Attention（线性注意力机制）可能影响智商，因为这个架构会有一些bias（偏差） 基座模型公司和做Agent产品的应用公司，长期看边界在哪？ 今天怎么思考商业模式？API是好生意吗？ Kimi能赚钱吗？ 01:25:05 在自己的故事里面 Tim（周昕宇）天天跟我讲——要用RL的方式去管理，而不是用SFT 用RL管理团队最大问题是，你容易被hack 很多复杂性都是人为强行加上去的，实际并没有那么复杂 只能说是在自己的这个故事里面——你不断地感受自己到底是什么样的一个人，你为什么要做这个事情 这个问题我也问过Kimi，他说，AI是“人类文明的放大器” 这也是Kimi跟我讲的——任何中间状态都有可能成为被批评的对象 肯定有恐惧，更多要关注你当前这一步，能做什么？——想这个问题更重要 2024年对杨植麟的访谈： 《和杨植麟聊大模型创业这一年：人类理想的增量、有概率的非共识和Sora》 【更多信息】 文字和视频版同步上线 文字版请前往公众号：语言即世界language is world 视频版请前往Bilibili：张小珺商业访谈录