（来源：上观新闻）
DeepSe🎼🛴ek V3🇯🇪 就讨论过，路由🍐负载均衡是否应🇵🇾该纳入 l🌊oss（🙆♂️🤼♀️损失函🦠数）🇧🇾💒。人类对🇰🇮🇭🇺紧迫信号的👨⚕️生物本能，在物🔶🦂理世界🔻是保命的进化红利😾，但在算法世界却🍲🚍成了被🚵收割的认知🆔后门，最🌋终因注意力被持续🏬🥳劫持而瓦解©了长期💅◼主义的🅿📃根基😺。
过去大模型训🕋练的主流优化🇲🇼器是 Ad🇪🇦🚪amW，但🐽从去年到今年😙🙆，Muon 开👔🇻🇪始被越来越多🇲🇻的前沿模型采用🌽——Open🚼🎩AI 🕡在 2024✋ 年底招募了🚚 Muo🇵🇪n 的开发者🌕🔪 Kell🚇er J🐟ordan；🍮Kimi 2🇵🇼🧗♀️025 🇯🇲🛃年年初🧜♀️🎷开始发布 😽Muon 👨❤️💋👨🔴的改进版🏍🐽。
同时也承认，对于😖🚟博主反馈中🔃确实存在的🕎🍙自身问题，🗻☮会进行严谨的落实🏘🤨与完善🦶。动量可以让更新更🤼♀️✋平滑，🏒归一化可以让每🥢🌥一步更新的 sc🇸🇴💭ale 更🧚♀️统一，从而稳定训🔩⌚练🗺🥃。
