（来源：上观新闻）
因为KV 🏠ent⬅🇲🇺ries既🛌做key又做va🕺lue，n🗼aive的RoP🎞E会让输出带上🇬🇷绝对位置信息，所🏗⁉以在outp😻ut端也对应施🧻👄加一个位置为-i🚅的RoPE来🔶🌖抵消，只🔢保留相对位置信息🐹🍞。SPPO每🈲道题只生成1个答🦛🌾案，在相同🚑🇧🇭时间内能完成🤼♂️更多轮更新🇲🇶🧷。为了确认🧤🤙SPP🏞🚖O的优势确实💍🥣来自其核心💗设计思想而非其他🇧🇶因素，研🌐🚙究团队还做🇷🇼🇦🇩了一个对照实验🍃：把SP🇵🇾PO用👩🏫🇲🇲来训练🕑价值模型的🇸🇳方式（二元交🌙叉熵损失⏹）直接↗↖嫁接到标准🙈😥PPO框架🇸🇬🤚上，其✍他一切保🇲🇶持不变，命名为🇰🇲🙅"PPO + B🇸🇲CE"👩💼。
第二，🧾🙆设计hybr↪id atten🏘🙋tio🏠📘n架构，C🇹🇫SA和H🦗🛅CA交替叠加，↖🇸🇹解决长文效率问🤼♂️题🚔。” 在知识产权⚱合规方面，姚双♣👶直言：“知识➕产权一定🥛是所有O💧🤜PC和🇨🇲🍛大模型公司都🌕🤷♀️会遇到的挑战🧤。📌 🧛♂️“思考模式让🕶🇮🇳模型理解‘我🎒☢到底要🏚🇧🇭画什么，为什么这🕜🌋么画’🚇。Muo👾n是前几年Ke🇮🇸lle🕣r Jorda🇨🇱n那批人（🎤😏他现在在👨👨👦👦OpenAI）🇺🇦在小模🥣型上验证过的🍣💲优化器，基于矩阵🐗😋正交化😰。
