（来源：上观新闻）
其三是更均🇮🇸衡的向量处↕理单元（VP🇸🇯🗼U）扩展🇩🇬🌂设计，使量化、s🅱oftmax等👳♀️向量操作与✋🍮矩阵乘法实👻现更好的流水线重🌀叠，提升👩🦲sem分析是什么芯片整👩🎓体利用率🎱🌯。（1）稳定的🔔长期执行 如🇺🇦第 1 节所述🕶🚶♀️，芯片设👨⚖️🇨🇰计是一项包🔇🥄含众多子组件🥞🇼🇫的复杂任务🧽sem分析是什么。因为V4🤥🌏把head d🔗🐓imensi🇧🇦🍧on c设成了5⬜12（比V3.2🐲👨⚖️的128🧙♀️👮大得多），如果直🇲🇪👗接把所有h🎯🕜ead🇨🇲🎭的输出🇨🇾🇹🇨投影回d维会很贵🏸🇲🇻，所以做了分⌨🎉组投影，把n🧘♂️🧼_h个head💈🥴分成g组，🌠每组先投影到🇿🇦⬅一个中间维🇲🇺度d_🦇g，最🐛后再合⚜💭并投影回d🙋。
MoE部🥰🛅分仍然用🥪DeepSe💾ekMoE，M🍜🥎TP（📚🎹Multi-🖨Token 🧾❌Predic👩👩👧👧tio📄n）模块跟V3保🇮🇹🔍持一致😕👨🦰。过去，训练一个🔞70亿参数的推⛸理模型需要同时加🔧载一个同等大⚗🇬🇸小的打分员，👟👩👩👧👦内存压🇹🇦📯力极大；👁️🗨️💤而SPPO允许🇳🇪⌛用一个小十🤚💔倍的模型担任价🍌🕸值预测者，让更⛹️♀️🛁多研究者能够🈹在有限的计算资源🚸😸下开展实👩💻验🔙🇸🇹。
