（来源：上观新闻）
V4 💋报告里一次🍕性把混合稀疏注⛳🇪🇬意力、🗽mHC💑🎷、Muon🌜🚅、FP4、Ti🛑leLa🇩🇬🔀ng 这么多事↔🍔情全部换🐩⏫掉并跑通，这种决😜💂♀️心和执行力很罕👃见🎡geo与seo的区别。（注：CS🕊👆A 是🗾 “压😪⛈缩稀疏注意🇹🇨力”，HCA 是⚙🐈 “重度压缩注意☕🎍力”👓🐑。于是你🥺跟着转发，❄🍢留下一条义愤的评🧙♀️论🎇👕。4月24🤑日，Dee⛱🇮🇨pSe🏁🏰ekV4正式💆👩👩👧发布🥂。V4 技术报告里🍖☺的中国芯片和 “🍩☁消失的成🇸🇾本” 晚点：D🇩🇬eepSee📹k 从 V3.2◽🇦🇶 pre🧵🐈view🇰🇾 到 V🇻🇳4，中间🏄♀️隔了 7🏮 个多月，但🆎不管是 Kim🥌🏧i、Qwen、😭GLM、Mi👨🍳niMax🇸🇰 还是 GPT、🎚*️⃣Claude，主📦流模型的版🐻🇨🇽本号都切得越来越🆕👶细，更新很密🧣集⏳🎶。
高薪与高🦞🖍稀缺并存，最🤶汹涌的🦟海域，往往🈵藏着最丰厚🏰📭的“渔获🗺🎬”🔻。能否先简单🇵🇾解释一下🇩🇲🙅♂️，优化器在😒👯大模型🙉🖱训练里🏫起什么作用？⛷🧤Muon 相比 🕢🏴AdamW 的核🇩🇴🚛心优势是什📿么？ 刘益枫❎：一般深度学🤾♀️习网络的📁👿训练过程，就是让🌽geo与seo的区别模型通过损失函🛴数的梯度🇦🇪🗣下降信号不🌋断更新🧗♂️🍸权重，当权🌏🇰🇿重更新到一个状态🍳，模型能稳🇬🇪😱定达成🈴🇹🇩设计目标了🚻（比如🎴预测），就🆔🅾是训完了，得到🇹🇬🎾了稳定的权重🌋。
