（来源：上观新闻）
这项研究也🌮引出了一些值得🦞🇬🇩继续思考的问🎖💗题☯🦅。（晴敬科⁉🏫技创始人姚双🚞🧫。Muon优🇳🇪化器 V4训🇨🇾🇧🇬练中绝大多数参数☀优化用的不是Ad🙀amW，是Mu➰🎺on🗞。过程中我们⚓🇦🇩也会找🎸合作伙伴一起推🇬🇪😔动🇷🇺。“龙虾”还没♿📊养明白，周围的🍔🇮🇨人突然又👸👩❤️👩开始“养马”🇸🇩👨🦰了🌗🕘。
不过他们做了自己🏴🦹♀️的版本👨👧，hyb🍟🇲🇵rid 🚌🆖Newton-S💯chul🥑🇦🇹z迭代，🌒🇰🇿10步🚒🍧分两段✝。进步体现在，🤾♀️😢Hermes🚂试图重构Age🇬🇳nt的学习📄🇬🇾方式🇵🇦🇸🇿。
模型未能识别出问🇮🇪题所在，在寻找🇻🇺解决方案的过❗程中进🇬🇦行了大幅度的修改🆒。这种现象😷♉被研究团队命🛣🧐名为"尾部效💺应"（Tai🇸🇨🛅l Effec🍇t）🎏。它只优化2D参数🧰矩阵，其他参📆数（embedd🚰📠ing、pre🔼🙍♂️dictio🐱n head、R🍡🍝MSNorm权重🚲🌮、mH🔦C的静态偏置等）🎁还是走Ada🇱🇻mW🔪🏤。
