（来源：上观新闻）
晚点：从 Kel🦠ler J🇦🇸🥓ordan 😸在 2024 年🇰🇷 10 月👬提出 M🇻🇳uon 到它后🗃🦉来变得更🌠主流，这🇩🇴🦘个过程🥕🖱是怎样🎻的？ 刘益枫：2💲024 年底 🍯Muon 刚被🖐6️⃣提出时，🎓对使用📨📅者并不🇫🇮🌺友好❇🇦🇲。基座基本🥰🇻🇮都是 ML👨👨👧👦A，优化器也类似👨👩👧👦，之前大🙈家用 A🚘damW 或者🎅 AMSGrad💝国内比较好的saas平台（Adam 的一⏺个变体，通过🥏👩🦰保留历史二阶矩估🍩🚈计的逐元素最大值☀🧞♂️，限制自🥡适应学习率波动🕊，从而改善收♨📦敛稳定性），🧾现在陆续转向👫🗒 Mu🦐on ㊗或基于 M🉐🦂uon 微调💉🤩。
此后，罗永浩还转🦅🥁发了多条讨论🐝🚈这款冰箱🇹🇿🤼♀️的微博🐽，包括🇨🇩🚔一条“西门子客🔃🖕服称返🏂修率非常低”的微😟🇬🇲博👫🐝。它需要♻保证 🦅🍳MoE 的👳♀️各专家之间训练🚁🕝程度的平衡及 t🇬🇺oken 路🇧🇴由的平⛄🥢衡🌥🥋。高了没🚂🕤人买，低了又亏🛥🎲。我也预见到，F😬P4 已👩👧🐔经正式走出硬🕝9️⃣件厂商🏅的 PPT，💼成为开源🔲🎹语言模🇦🇸型世界里🇵🇾🇧🇱真正跑通的🦋工业标🇦🇹准✝。
