杨植麟在GTC2026 摊牌：月之暗面把Adam、全注意力和残差连接全换了，而且全部开源

老台灯

AI总结

AI总结中

大模型训练的地基，正在被一家中国公司悄悄撬动。在GTC2026的演讲How We Scaled Kimi K2.5中，月之暗面CEO杨植麟没有只讲K2.5这一个产品，而是把过去一年多公司想清楚的一件事摊开了:当开源模型要逼近闭源前沿，除了继续堆参数和算力，还有另一条路——把Transformer时代沿用了近十年的三个基础组件，各自重新做一遍。优化器Adam（2014年提出）、注意力机制(2017年)、残差连接(2015年)，月之暗面给这三个地基组件各递上了一个替代方案，而且全部开源。



杨植麟把整条技术路线拆成三个方向:让每个Token更值钱、让更长的上下文真正有用、让多个Agent同时协作。除此之外，他还抛出了两个重要进展:视觉训练如何反哺文本能力，以及月之暗面刚公布的下一代架构Attention Residue。

先说最现实的一道墙:高质量数据快不够用了。互联网上有价值的文本本就有限，模型越做越大、要的数据越来越多，大家迟早撞上数据墙。既然数据很难翻倍，月之暗面的思路是让模型从同样的数据里学到更多，给出的答案是MuonClip，用来替代已经用了十多年的Adam优化器。它基于Muon优化器，在更新参数时尽量让不同方向的信息保持独立，减少重复和浪费，从而提高训练数据的利用效率。实验结果是:用同样数量的数据，MuonClip的训练效果接近把数据量增加一倍，既压低了训练成本，也推高了模型能力上限。杨植麟打了个比方:手里若有50万亿个高质量Token，效率提高一倍，就等于又多出50万亿Token，在优质数据越来越稀缺的当下，这种效率提升比单纯加算力更关键。

不过Muon有个麻烦:模型扩展到万亿参数后，注意力层里的数值容易失控，最大logit会突然飙升到1000以上，而正常范围通常只有50到100，数值继续膨胀训练曲线就会发散、整个训练可能直接崩掉。月之暗面为此设计了QK-Clip，在模型前向计算时实时检查每个注意力头的最大logit，一旦超过安全范围就同步缩放Q和K的投影把数值压回来，它不改变收敛效果，只负责维持数值稳定。靠着QK-Clip，Muon被成功扩展到万亿参数规模，训练了超过15万亿Token，整个过程没出现过一次loss spike。

第二个方向是让长上下文真正发挥作用。杨植麟引用了Scaling Law论文作者Jared Kaplan等人的实验STM读到一定长度后效果就难再提升，而Transformer上下文越长、预测通常越准，且难见明显饱和点。这个特性在Agent时代尤为要紧——复杂任务可能持续几天甚至几周，模型得记住之前做了什么、得到过哪些结果、哪些方向已经失败，长上下文若不能持续提供有效信息，任务链条很容易断掉。麻烦在于标准全注意力的计算量随上下文长度平方增长，扩大十倍计算量可能增加一百倍，到百万Token级别训练和推理成本都高得吓人。月之暗面的解法是Kimi Linear，核心是名为KDA（Kimi Delta Attention）的线性注意力机制，它让模型学会哪些信息长期保留、哪些快速忘掉。传统线性注意力只有一个全局衰减系数，像所有内容共用同一个遗忘按钮;KDA把一个衰减系数拆成多个，不同信息通道可用不同遗忘速度，慢衰减的通道保留长距离信息，快衰减的通道及时腾出空间吸收新内容。实际使用中，Kimi Linear按3比1的比例把线性注意力层和全注意力层混合，杨植麟称这是第一个在短上下文、长输入和长输出任务上都能全面超过全注意力的架构，上下文扩展到百万Token甚至更长时，效率优势更明显。

第三个方向是从一个Agent变成一支Agent团队，月之暗面称之为Agent Swarm。它的组织方式像一家公司:一个主Agent充当CEO，负责理解目标、拆解任务并分配给多个子Agent，子Agent可以分别扮演研究员、程序员、数据分析师和事实核查员，完成后由主Agent汇总。最大价值是把串行任务改成并行，过去一个Agent要依次搜索、阅读、分析、编码、核查，现在几十甚至几百个Agent可以同时开工。训练这种协作并不容易，月之暗面设计了三种奖励:实例化奖励鼓励主Agent创建更多可并行子任务、避免退化回串行;完成奖励要求子任务真正做完、防止为刷奖励批量开空任务;最终结果奖励判断任务是否真正解决。三种奖励的权重随训练动态变化，前期重任务拆解与并行化，后期转向最终结果。从演示看，Agent Swarm能同时下载阅读几百个信息源完成研究、并行撰写上百页文献综述的不同章节、同时分析十个数据集。Kimi K2.5发布时它已支持最多100个Agent并行、任务最多执行1500个步骤，而今年4月发布的K2.6把并行上限提高到了300个。

一个意外收获出现在视觉与文本的融合上。K2.5与前代K2的关键区别是改用早期融合训练:过去很多开源多模态模型走后期融合，先用约20万亿文本Token训出语言模型，再用约2万亿多模态Token把视觉能力贴上去;K2.5则从训练一开始就把视觉和文本数据混在一起，在K2文本基座上又训练了约15万亿混合Token。这带来了两个让杨植麟兴奋的结果。其一是只训练视觉任务也能提升文本推理:研究团队只让模型数数、识图、做视觉问答，没加数学或编程训练，文本推理能力却也变强了，换言之模型在练看的同时，想的能力也提升了。其二是反向的，如果文本基座足够强，模型甚至不一定需要专门的视觉SFT数据——K2.5采用零视觉SFT方案，所有监督微调数据都是纯文本，再通过文本与视觉联合的强化学习获得视觉能力，最终在视觉任务上仍接近最先进水平。杨植麟认为，这种双向迁移来自早期融合:当文本和视觉进入同一表征空间，一种模态学到的能力才有机会迁移到另一种，这也是K2.5能看图写代码的根基。

演讲末尾，杨植麟介绍了月之暗面刚发布的新研究Attention Residue（注意力残差），论文发表于3月15日，距离演讲仅两天。残差连接是2015年由何恺明等人提出的深度网络基础技术，如今是Transformer的标准组件，它让每一层既处理上层结果、又保留一条直接传递信息的通道，使深层模型能稳定训练。杨植麟援引Ilya Sutskever的说法，把残差连接理解为旋转了90度的LSTM——LSTM在时间维度上传信息，残差连接在深度维度上传信息。既然Transformer已经用注意力替代了LSTM在时间维度上的循环，那么深度维度是否也能同样替换?Attention Residue就是这个思路的产物:标准残差主要用上一层输出，而它允许当前层查看所有前序层输出，再通过注意力决定哪些历史信息保留、哪些忽略，让模型从被动接收上层结果，变成主动从整个计算历史中挑选信息。为控成本，实际采用分块版Block Attention Residual，每16层组成一个块，块内仍是标准残差，块间才用注意力残差，实验显示约8个块就能拿到大部分收益。它带来了约24%的Token效率提升，按杨植麟的算法，50万亿Token效率提高24%等于额外增加12万亿Token，在GPQA、MATH、HumanEval等推理、数学与编程测试上提升尤其明显。

把三件套摆在一起看，月之暗面的替代清单清晰得近乎挑衅:Adam换成MuonClip、全注意力换成Kimi Linear、残差连接换成Attention Residue，分别对应怎么从有限数据学更多、怎么更高效用超长上下文、怎么让深层网络更灵活传信息。三者都能相对独立地替换现有组件，且都已开源。这些技术能否直接叠加、增益能否简单相乘，目前还没经过完整验证，但它们至少说明了一件事:很多被认为已经足够好的基础组件，可能远没有到达终点。在优质数据越来越少、训练成本越来越高的当下，重新设计优化器、注意力机制和残差连接，同样可能带来可观的提升。这也正是杨植麟整场演讲想表达的核心——开源模型不能只是开放，还必须足够强。

Source URL: https://news.aibase.com/zh/news/29707

Samuel

老台灯 发表于 2026-7-20 10:15
杨植麟在GTC2026 摊牌：月之暗面把Adam、全注意力和残差连接全换了，而且全部开源大模型训练的地基，正在被 ...

月之暗面杨植麟在GTC2026大胆革新，替代Transformer基础组件并开源，多方向突破技术难题，提升效率，展现中国公司创新实力！