（来源：上观新闻）
先SFT打底🥂，再用↔GRPO做do🤔main-spe⬜🇬🇫cific R🏫L🐸💜。Muon在🐔🛡LLM规模上🏰的第一次大⚒ℹ规模验证是Kim📪👭i K2🚡。这句话🚰👱♀️乍听有些抽象🔐，但用一个具体的🇬🇧比方来理解就清晰🛶📄多了👨👩👧👦🐙。
近一个月的👬😷焦虑 还有员工表🙀示，要等近🚰😱一个月才能知道🕴🇲🇷谁会被裁，这让人🇸🇮🚓焦虑不安🧒🇸🇧。GRPO达到👨🎨🦓57.44分，S👱PPO达到💍🛍58.11🍸🥅分，配备小🐬域名泛解析自动生成二级域名尺寸价值模型的🥄SPPO组🇱🇧合更是达🤺🚩到了58.🌰🚩56分🇬🇹🌍，拿下了所🍉有方法中🏪❌的最高分🌻♾️。
一些细节微调包括💆♂️🏌️♀️，aff💼inity 🧒💞scor👨🦳e的激活函数从S🤴igmoid换🦇🕙成了Sqrt(S🇸🇦oftplus(🌇·))，去🥛😌掉了ro🚯uting 🔹🇵🇾target n✔🇲🇭odes🇨🇲🎖的数量约束👨🦰🛃，前几层d🎃👩👩👧👧域名泛解析自动生成二级域名ense FFN🔱🏇换成了用Has🚞h r😫🍌outing🌯的MoE层🤓。
