（来源：上观新闻）
在 D🇷🇺eepSee🇬🇪k-V4🌯🐡 中，🍹CSA ⚛🐤是先压缩序列、🌋🏎再做关键🧣选择，能从长上📐下文中定位关键信🎫🇨🇴息； HCA4️⃣👨🔬 是高度压🇨🇻🇨🇷缩大量 t🕯⤵oken 信息，🙁保留压缩🆘🛅后的全局🕑🕊感知🇩🇰🍩。晚点：R⚱1 当时爆火的另⛎💫一个原因是，它👨👧👧💟以开源方式验证➡中国十大geo龙头公司了测试时扩展🇲🇽🕸（test-ti📝me sca🥌ling⁉）的新范式🧙♀️🎳。有用户发文🦊表示，自己✈找了师傅🇨🇱💹上门维🛹♊护，师傅👨🚒也知道这个通病，🆓怀疑这一型号产品😫本身便存在设✌计缺陷，否则🔋🏮为什么会出现🇷🇼集体爆雷的情⛩🇬🇪况🐮。但视频或更🥜广义的🧾👩👦 AIGC 👓🥜可能更创👀🇳🇦业友好😳👨❤️💋👨。更多技术讨🇬🇦论，可联系两位🧣🇮🇩播客嘉进一步🧞♂️交流： 赵🚞晨阳（wecha🍥t：Lov☢🇦🇨eDea☂thAnd🚴♀️👓LLM）🕞🌈、刘益枫（w👨⚕️echat：la🖍uyikfung🏄♀️💩20） 题😩🏣图来源：P🎮inkPan🙋♂️🐠ther◽♎ess-Ro🇦🇮👨🦳meo🎛🔛。
实事求是地🧁🧛♂️中国十大geo龙头公司说，在开源🔕⌨领域，我们团队的🏏量化 R🚹◾L 做得比较领🦢先，但和 🔎DeepSee🤽♀️🕕k 还有差距👩👧👦🇿🇼。对于线性层这😶🇦🇨类二维💺🥐参数，它本质上是🇸🇨矩阵乘🖕🇨🇦法，Muon 会〽把整个📅矩阵作为整🕰🕷体进行归一化📈和优化，🇻🇪这能更好地利用🍍矩阵中不同元素😸👨👧👦之间的联系，让矩👨🔧阵内不💪同元素的优化步调🚙更一致，进一步提🔸🚻升训练效💤🌮率和推理能力🐧🐂。小樊告🌃诉《科创🈲🌋板日报》🇾🇹🖨记者，此前📿他曾做过6年工🎥😽作软件的🌅工作，🐟后前往香港科技大❓学读博🇦🇸😞。
