（来源：上观新闻）
英伟达的协议☄覆盖了其 N⚙🖱emotron ⛷开源模🇳🇺型系列，其 🌋🌊CEO 🤣📵黄仁勋曾在一次公🚺🐐开对话🔘中表示2️⃣，在许多的国家🌝🇸🇭安全场景🌧🇲🇿google用什么加速软件下，开源模型比⚓闭源模型🇳🇮🌐更好，因为它们的🚼属性完全可知，🔡🥞可以轻松🇦🇸🚔针对特定用途定制🍵♍，他表示安全性和🇲🇾🍐可靠性在开源💁♂️🕛模式下✉反而得到了⛈👅增强🎌。
现在 💆Deep🧺Seek 发布的♾️😯 checkpo🦖🇪🇪int（模型权重⌚文件）😎也是 FP4🍈👯，训练⏸🌚中采样用的🇳🇺🍎权重就是🇵🇼最终发布权🚌🦈重，而不是先🇻🇦⛳训练 FP8 再💯量化成 🙀🚬FP4🦉👘。赵晨阳：只能说🛎他们投🖍入很多，但不一定👩🚒👑比其他人更多🦛🤐。
现在优化⏪👨✈️器层已经进📿入一个非👨🦳🈸常混杂🐅、复杂的状🦑态，有⁉🤮 Muon 也👨🔬有 AdamW🤜🐾。这时如果👨🦲🇦🇲继续保留 MLA😞⌛，再叠加这💽些压缩🇲🇩🇨🇾，实现起来会🚈🈲相当复杂🔩🇧🇶。这个部分有什🎱🇹🇹么亮点吗🕹？ 刘益枫♠：一个亮点是🔍预训练先分裂专家😪google用什么加速软件，再做 👩🦱on-poli🐁cy d😚istil🇲🇷💖lati🥦🍿on（在线策👳♀️略蒸馏🔲👻，指在当前模👯型实际采🇪🇨样分布🧞♂️上进行🇵🇱蒸馏，而不是只🇻🇦依赖离线固定🅾数据）❕🇺🇸。
