2025年7月16日，风投公司MenloVentures的Deedy最近在X上发文称，Google DeepMind刚刚发布了一个叫Mixture-of-Recursions的新大讲话模子架构。但最惊掉下巴的言论是临了一句：“有后劲杀死Transformer”。

这段笔墨短短几行，也曾有20万浏览量，好评一派，但可能存在两个严重问题!

问题一：谷歌DeepMind并未平直参与商讨，为何只谈谷歌发布？

领先，从论文作家不错看出，一二作家齐来自KAIST（韩国科学本事院），谷歌作家排在第五位以后。

最膺惩的是，论文里的一段原话，翻译过来即是：谷歌的合著者在这篇论文中只是饰演了参谋人的变装。

也即是说谷歌DeepMind并莫得平直参与商讨扩充，名字却被拿来大力宣扬了。

问题二：MoR起原于Transformer，何谈“杀死Transformer”？

论文选录也明确说了MoR源于递归Transformer：作家发明了MoR，用一个合股的框架，在单个递归 Transformer里面结合了这两种遵循轴（参数分享和自适合野心）。

雷同于“我干掉了我方”的这种逻辑，似乎也不太合适。

是以，这篇论文的影响力有可能被Deedy夸大了。

（以上仅代表个东谈主不雅点）

天然有风投炒作，咱们照旧不要对论文确切水平产生偏见，底下沿路来品读一下内容：

2025年7月14日，来自于韩国KAIST、Mila、Google的商讨东谈主员建议MoR架构，通过智能路由器为每个笔墨分拨个性化处理深度，达成参数分享与自适合野心的合股。MoR在保持模子性能的同期权贵普及野心遵循，在1.35亿到17亿参数范畴上考证灵验，推理速率最高普及2倍以上，为构建更高效智能的讲话模子提供了新念念路。

要意会这项商讨，咱们不错把讲话模子想象成一个工场。有些家具很浮浅，可能只需要基础处理就够了；有些家具很复杂，需要反复打磨才能达到轨范。要是总计家具齐走同样的过程，就会变成高大的浪费。

MoR的立异之处就在于创造了一个"智能分娩线"系统。这个系统最私密的方位是配备了一个机灵的"革新员"（路由器），它八成不雅察每一个进入工场的家具（笔墨token），然后作念出决定：这个家具需要经过若干轮处理才能达到最好成果？浮浅的家具可能只需要一轮，复杂的家具可能需要三轮以致更多。

这个智能工场还达成了成立的高效重叠垄断。传统工场需要为每个处理身手配备孤苦的成立，资本昂贵。而MoR的工场则选用了轮回垄断的遐想：合并套高质料的处理成立不错被反复使用，只消家具需要进一步处理，就再次通过这套成立。这么既保证了处理质料，又大大裁汰了成立投资资本。

智能革新的两种政策：巨匠遴荐与Token遴荐

MoR系统的中枢是其智能革新机制，商讨团队遐想了两种不同的革新政策，每种齐有其私有的上风和适用场景。

第一种政策叫作念巨匠遴荐路由，这就像一个高端餐厅的办事模式。在这种模式下，每个处理级别齐是一位抉剔的大厨，他们会仔细不雅察总计恭候处理的食材（笔墨token），然后用心挑选我方以为最允洽处理的那些。比如说，肃肃"基础处理"的大厨可能会遴荐那些看起来相对浮浅的食材，而肃肃"雅致加工"的大厨则挑升挑选那些需要更多技能的复杂食材。

这种面貌的最大优点是八成齐备限度每个处理级别的职责量，就像确保每位大厨齐不会过载或闲置。关联词，这种面貌也有一个问题：大厨们需要看到总计食材才能作念出最好的遴荐，这在施行的活水线功课中会带来一些本事挑战。为了责罚这个问题，商讨团队引入了扶助路由器的看法，就像给每位大厨配备一个助手，挑升肃肃在不看到全部食材的情况下，掂量哪些食材最允洽这位大厨处理。

第二种政策叫作念Token遴荐路由，更像是一个个性化定制办事。在这种模式下，每个家具（笔墨token）一进入工场，系统就会为它量身定制一个完整的处理有计算：这个家具需要经过几轮处理，每一轮齐使用什么强度的处理面貌。这种面貌的平允是幸免了信息透露的问题，每个家具的处理有计算齐是孤苦制定的，不依赖于其他家具的信息。

不外，这种个性化定制也带来了新的挑战：怎样确保工场的各个处理枢纽齐能得到合理的职责量分拨？毕竟，要是总计家具齐遴荐合并种处理面貌，就会导致某些枢纽过载而其他枢纽闲置。商讨团队为此开导了"负载平衡吃亏"本事，就像一个智能的职责量分拨系统，通过和洽激励机制来荧惑家具遴荐那些相对不那么清贫的处理旅途。

两种政策在施行应用中各有千秋。巨匠遴荐路由在限度资源浪费方面阐扬优异，终点允洽那些对野心预算有严格条目的场景。而Token遴荐路由则在处理复杂多变的任务时浮现出更好的适合性，尽管可能需要迥殊的负载平衡机制来保管系统的踏实运行。

顾忌料理的立异：两种缓存政策的私密遐想

在智能工场的运行过程中，还有一个错误问题需要责罚：怎样高效地料理和存储处理过程中产生的中间扫尾？

传统的讲话模子在处理笔墨时，需要存储多数的键值对（KV pairs）信息，这些信息就像厨师的备忘录，记载着每个词语在不同处理阶段的特征和情景。关联词，当模子变得越来越大、处理的文本越来越万古，这些备忘录就会占用高大的存储空间，严重影响处理速率。

MoR团队针对这个问题遐想了两种立异的缓存政策。第一种叫作念递归式缓存，这种面貌就像为每个处理级别树立挑升的储物柜。方丈具在某个级别进行处理时，惟有在该级别活跃的家具信息会被存储在对应的储物柜中。这么作念的平允是存储需求大大减少，因为每个储物柜只需要存放现时正在该级别处理的家具信息，而不是总计家具的信息。

更私密的是，这种缓存政策还达成了珍见解野心的优化。在传统模子中，每个词语齐需要海涵文本中的总计其他词语，这就像每个厨师齐要同期海涵厨房里的总计食材。而在递归式缓存中，每个词语只需要海涵那些在合并处理级别活跃的其他词语，大大减少了野心复杂度。

第二种政策叫作念递归分享缓存，选用了一种愈加激进的资源分享面貌。在这种模式下，系统只在第一轮处理时生成和存储键值对信息，然后在后续总计处理轮次中重叠使用这些信息。这就像厨师只在动手时记载一次总计食材的基础信息，然后在总计这个词烹调过程中齐参考这个运行记载。

这种分享政策的最大上风是内存使用遵循极高，终点是在处理长文本时八成权贵减少存储需求。同期，它还能加快"预填充"过程，就像厨师不错跳过重叠记载食材信息的身手，平直动手烹调。关联词，这种政策也有其局限性：由于总计处理轮次齐使用雷同的基础信息，可能会在某些需要雅致和洽的场景中影响最终成果。

商讨团队通过多数实验发现，这两种缓存政策在不同场景下各有上风。递归式缓存在需要精准限度每个处理身手的场景中阐扬更佳，而递归分享缓存则在内存受限或需要快速处理多数文本的场景中展现出彰着上风。更膺惩的是，这两种政策齐与MoR的举座架构齐备交融，达成了参数分享、自适合野心和高效缓存的三重合股。

实验考证：从表面到实践的全面考证

为了评释注解MoR系统的施行成果，商讨团队遐想了一系列实验考证。

实验的基础设施遴荐了业界芜俚招供的Llama架构当作测试平台，数据起原则是用心筛选的FineWeb-Edu教训数据集。这就像遴荐了一个轨范化的分娩线和优质的原材料，确保实验扫尾的果然度和可比性。商讨团队测试了四种不同范畴的模子：从1.35亿参数的"微型工场"到17亿参数的"袖珍工场"，并莫得诡秘更大的应用场景。

在等野心量对比实验中，MoR展现出了上风。当给定雷同的野心资源预算时，MoR八成处理更多的考验数据，这就像同样的电费开支下，智能工场八成分娩出更多的家具。具体来说，在使用仅约一半参数目的情况下，MoR在考证准确率上不仅达到了传统步调的水平，在某些任务上以致阐扬更优。这种遵循普及在更大范畴的模子上阐扬得尤为彰着。

更道理的是等数据量对比实验的扫尾。当使用雷同数目的考验数据时，MoR八成以更少的野心资源达到同样以致更好的成果。这畸形于用更少的时期和电力分娩出同样质料的家具，体现了系统遐想的优厚性。在这种树立下，MoR模子的考验时期减少了19%，内存使用裁汰了25%，同期还保持了更好的性能阐扬。

实验中最引东谈主注指标发现之一是MoR在不同任务上的一致性阐扬。不管是讲话理罢黜务（如HellaSwag、PIQA）照旧知识推理任务（如ARC、MMLU），MoR齐浮现出踏实的改造成果。这种一致性评释注解了系统遐想的通用性，就像一个优秀的智能工场不仅能分娩单一家具，还能无邪适合多样不同类型的分娩需求。

在推理速率测试中，MoR的上风愈加彰着。通过实施连系深度批处理本事，系统八成在推理过程中动态和洽批处理大小，充分垄断硬件资源。实验扫尾浮现，在最优配置下，MoR的推理速率比传统步调普及了2.06倍，这种速率普及对施行应器具有膺惩意旨。

商讨团队还进行了详确的消融实验，系统地考证了MoR各个组件的孝敬。通过迟缓移除或替换不同的遐想遴荐，他们发现每个组件齐对最终性能有着膺惩孝敬，并且这些组件之间存在协同效应。终点是在参数分享政策的遴荐上，"中间轮回"政策在总计测试范畴上齐阐扬最好，这为施行应用提供了明确的疏浚。

深刻分析：智能分拨的职责道理

通过对MoR系统职责过程的深刻分析，商讨团队揭示了好多道理的景观，这些发现匡助咱们更好地意会智能革新系统是怎样作念出决策的。

最引东谈主注指标发现是系统对不同类型词语的处理政策存在彰着的智能性模式。商讨团队通过可视化分析发现，系统会自动将更多的野心资源分拨给那些在语义上更膺惩或更复杂的词语。比如，像"defensively"这么的副词、"confident"这么的情势词，以及"Drugs"这么的专闻明词，往往会被分拨到更深的处理级别。比拟之下，像"and"、"the"这么的功能词，以及标点象征，频频只需要经过一轮基础处理就饱和了。

这种智能分拨政策反应了系统对讲话结构的深层意会。就像一个教训丰富的剪辑在校对著作时，会在错误词汇和复杂句式上破耗更多时期，而对基础的语法结构快速浏览一样。MoR系统通过学习，自动掌执了这种高效的珍见解分拨政策。

在路由器的决策分析中，商讨团队发现了另一个道理景观：当使用巨匠遴荐路由联结扶助吃亏机，系统八成达成简直齐备的二元分类。被选中的词语的路由分数会结合在1.0近邻，而未被选中的词语的分数则结合在0.0近邻，中间简直莫得依稀地带。这种显然的决策领域标明系统也曾学会了明确的遴荐轨范，而不是在不顺服中扭捏。

野心最优膨大分析揭示了MoR在资源分拨上的私有上风。与传统模子更偏向于加多考验数据量不同，MoR在雷同野心预算下更倾向于加多模子范畴。这种偏好反应了参数分享架构的特色：分享的参数块质料越高，总计这个词系统的性能普及就越彰着。这就像投资一套高品性的分娩成立，天然初期进入较大，但长期收益会络续增长。

测试时膨大能力的分析浮现了MoR的另一个膺惩本性：系统不错在推理时动态和洽处理深度，达成性能的进一步普及。当允许某些词语经过更多轮次的处理时，系统的举座阐扬会权贵改善。这种能力为施行应用提供了无邪性：在瞄准确性条目极高的场景中，不错允许系统使用更深的处理；在对速率条目更高的场景中，则不错截止最大处理深度。

至顶AI实验室洞见

这篇论文优污点齐比较彰着。

最大的污点是，实验数据起原于1.35亿参数到17亿参数的模子，所选模子参数目以致够不上平时百元显卡的最大负载，十足无法评释注解MoR在最常见的场景中的优厚性：个东谈主电脑（能运行百亿参数模子）和AI办事器（能运行千亿至万亿参数模子）。

是以，我建议拿去给KnoVo查一查是否水论文了论文有多水？这个AI系合股眼看透：KnoVo自动评估学术论文立异值。

底下说说优点：最彰着的优点是，名字取的好，Mixture-of-Recursions（MoR）和颠覆性的Mixture-of-Experts（MoE）如出一辙，毕竟好的名字是收效的一半（至心的）。

并且MoR亦然一种新的模子架构，体现了向个性化智能制造的转机，每个输入齐能得到量身定制的处理有计算，普及模子遵循。在施行应用中，不同的文本片断如实需要不同进度的意会深度。

MoR的为昔日的商讨办法提供了启示。参数分享与自适合野心的结合评释注解了"遵循"与"成果"并不是零和游戏，通过私密的遐想不错同期达成两者的普及。这种念念路可能会激励更多立异性的架构遐想。

说到底，照旧让枪弹再飞转眼吧。

论文地址：https://www.arxiv.org/abs/2507.10524

END

本文来自至顶AI实验室，一个专注于探索生成式AI前沿本事过火应用的实验室。发奋于鼓励生成式AI在各个领域的立异与打破，挖掘其潜在的应用场景，为企业和个东谈主提供切实可行的责罚有计算。

Q&A

Q1：Mixture of Recursions 框架是什么？MoR是什么？

A：MoR 是一个合股框架，结合参数分享和自适合野心来提高讲话模子遵循。它重用分享层栈减少参数数目，同期用轻量级路由器动态分拨每个token的递归深度。这允许只对活跃token扩充珍见解野心，并遴荐性缓存键值对优化内存。MoR 还建议KV分享变体来裁汰延伸，在模子范畴如135M到1.7B参数下，它改善了困惑度和费解量。

Q2：Mixture of Recursions 使用哪些路由政策？

A：MoR 选用两种路由政策：expert-choice 和 token-choice。Expert-choice 路由在每个递归身手遴荐top-k token连续处理，模拟提前退出行为。Token-choice 路由在动手时候拨固定递归深度给每个token，界说完整野心旅途。Expert-choice 保证负载平衡但可能透露信息，token-choice 幸免泄露但需平衡机制。实验浮现，expert-choice 路由性能频频更优，如few-shot准确性更高。

Q3：Mixture-of-Recursions 的主要上风是什么？

MoR 在遵循和质料上优于基线模子，如同等FLOPs下减少参数并提高准确性。它通过分层过滤和递归珍见解裁汰考验FLOPs云开体育，普及费解量高达2.06倍。KV缓存政策减少内存占用，连系深度级批处理加快推理。在范畴如360M参数上，MoR 匹配或卓越Vanilla Transformer性能。