（来源：上观新闻）
相比之下🗂，直接在🛅目标场景里进行🇲🇼➡GRP🇬🇱🤫O训练的曲线显得🌼波动起伏🇪🇷，甚至在38😫40轮次时出🔴👬现了下滑（从5️⃣🇳🇮37.8%跌到🇨🇱➰35.4%👩🔧🍻），最终🤹♀️停留在🦹♀️👨👧👧37.8%📡🌻。
因为压缩🐙🇦🇼注意力🇬🇶保证严格因🖇果性，一个que😆🏐ry t🚕🤴oken🚴看不到自己压🤹♂️缩块内其他t🍾oken的🐾信息🌎🇸🇾。对计算🐘🆔机视觉或👩⚕️📣图像质🤞🍪量评估感兴趣✳😫的读者，可以通过😋上述编👨👨👦👦⌛号在 arXi💆v 平台查阅💱完整论文🙈。
2025年👩✈️，Moo🧯😦nshot用🇲🇿🕹Muon（加上🎫👺他们自己🇹🇷🇬🇼的QK-Cli😬p变种，合🌶🔘称MuonC🧴📷lip）训了🇨🇵一个1T参数🐶的Mo🤖☯E，15🥿.5T t👩👧🇭🇳oken，全程零✝🌾崩溃🇿🇦。
