（来源：上观新闻）
一些细节微调包括🇳🇨🕸，af🌆😒finity🤸♀️ score🤹♂️的激活函数从Si⏫⚪gmoid🚾🇨🇳换成了➕🥌Sqrt(🐤🇲🇿Soft🧗♂️plus(·))➖，去掉了ro🚐uting⁉ targe💣t nodes🍀👩🌾的数量约束👍，前几🍴层dense 💕😌FFN换成了用H🉑🐘ash r✋outing的😍🆒MoE层🇺🇲。性能方面，🥯🕗SPPO不仅没🎍ce认证费用一览表有损失，在1.5🍮🥴B和7B两种规🕐模的模型上🇲🇴，SPP🚻O的综合平📦均分都略高于G👏🔁RPO（N🇲🇵🇻🇮=8）🦉。
因为V4🐮🙄把head di📱🐖mensio🇳🇿n c设成🇰🇵了512🇬🇮（比V3🍑.2的128大得🇺🇳🏌️♀️多），如果直😑接把所有he🥫ad的输出投影回🦞d维会很贵，所😼以做了分组投影，🗣🇲🇿把n_h个hea🏒d分成g组🆑，每组先投影到一📲↕个中间维度d_g🇬🇺，最后再合并投影🧰回d📅。于是，🕥很多人最🛠⛵后得到的不是效率🛣👴提升，而是更高🇲🇩的使用成本💗。在20个不同的✅论文复现任🧹🇫🇲务中，几乎🥰🚊每一个任务上AI📂👩👦👦科学家都🍐有明显提升，其🇮🇲中最显著的🇰🇪🏑一个任务（pin🤕n）在GLM🧣⏲-5下😆👩🔧提升了3🇬🇧2.9🇸🇸🇸🇩9分🇻🇦。
