（来源：上观新闻）
因为V4把🏭🇩🇬head di🎺mensio🇹🇲🥤n c🥊设成了👨❤️💋👨512（比🦏🎛V3.😱🦸♂️2的128😔💦大得多），如果🏘直接把所有💘🏃♀️head的🇲🇴👙输出投影回d🦟👨👨👦维会很贵Ⓜ，所以5️⃣搜索seo做了分组投⛳🛵影，把n_h个🕘🎋hea🚳💝d分成🇬🇼g组，每组先📻🍧投影到一个中间👽维度d_g，最后🍙再合并投影回💆♂️📂d👼❄。在Tool🥜SandBo🅱💅x上，🐘系统识📯别出了两种关键🇪🇹能力薄弱🧖♀️点🐖。这个差距越大，说🐢明这种🥣能力越能区🦅分成功和🏠📼失败，也就🚧⚗越值得重😇🖐点训练👩🦰。未来方🤷♀️🇳🇱搜索seo向几条，探索新👗维度的s👩🏭parsi➗ty（点名☸了Engra🏵💩m那条线👩👧💏）、低延迟🕑架构、长🏅时程多轮ag🎍entic🤠任务、多模态😿、更好的数据cu🇮🇩🖌rati🇩🇯🥞on🤭。
过去，训练一个🔼🔝70亿参❇🌧数的推理模🌼搜索seo型需要同时加载🇳🇨👩🏫一个同等大小💽🤷♀️的打分📖💃员，内存🕺压力极大👩🚀；而SP🍃💆♂️PO允许用一👩👧👦个小十倍的💜🈂模型担任价值预测💑者，让🧷🚮更多研究者能🎈🧚♂️够在有限🇹🇰📇的计算资源下开展⚓🥜实验🇻🇦🇲🇶。SimpleQ🍮🇳🇷A-Verif🇸🇰🐨ied🙀上V4-Pr🚋🇺🇸搜索seoo-Max🐣拿到57.9，🏝🇧🇱K2.6是36.💘9，GLM-〰5.1是✔38.🥢1🥫。第一个是Pape😆🇲🇱rBe🚑🧭nch，由Ope♈🇧🇻nAI参与设计🇭🇷，专门用来测试A🐕I从头复🐅🥒现顶级✨机器学习🤖会议论文的能🇦🇹💁♂️力🕗🇦🇱。
