（来源：上观新闻）
这项研究也引👩🌾🦸♀️出了一🍸些值得继续😄🇭🇺思考的问题🇭🇰🏑。CSA和HCA🔘⌛在core a🇲🇫🗾ttentio🌲n之前🍤，都对query🇧🇱和KV ent🙋♂️🥵ries🎂😏做一次RMS🔭Norm，防止🎁🇪🇷atte🇸🇪🎐ntion l✖🍗ogits爆炸🈶🚝。
实验表明去掉这🤺个机制后，ML👋E-Bench 😌🎞Lite的🗽🙏获奖率会下降近❎🌮32个百🏖🧜♀️分点🇧🇭。K2.6🙍 我深度用一天❌了🎫🆑。在GLM-5下差🚒距更悬殊：迭🇯🇲👩🦳代代理每任务👨💻花费54🥑⚛.90*️⃣🌇美元，AI📝科学家💢只需12.2🗒🐂0美元👑👜。
