（来源：上观新闻）
结果显示🚵♀️👣，这个混合方🧭案和标准PPO一👺🇱🇹样不稳定，同🎺样出现了性能崩🛍溃👩🎓🈵。V4把🚺AdamW替了，🇲🇾接管绝大多数🌴参数的训练👨🦴。聚散终😜🌴有时，温情无🤶止境🇳🇨。因为KV e🥛🕺ntrie📄s既做ke👨🚒🇿🇦y又做value🖲👨，naive👑🍇的RoPE会🇨🇩让输出🇰🇾带上绝对位📂🎚置信息，所以在o✝utput🧫端也对应⚜👩👧施加一🚂个位置为-i的🕍RoPE来抵🥁🌾消，只🐻❕保留相对位置信息🍸。
为了确认SPPO🍃的优势确实来自🌭其核心🕰🙇♀️设计思👔想而非🚨🐈其他因🤦♀️🤬素，研究团队🕥▫还做了一个⚔对照实验：〽把SP🍦PO用🕝👎来训练价值模型的🌝⛹️♀️方式（二元交👥🚵♀️叉熵损失）直接🎵嫁接到标🥋💚准PPO框架◼🈚上，其他一切保🇳🇱持不变，命👛👗名为"PPO +👩🏭🛷 BCE🇪🇹🤕"🇺🇲。更巧妙🎚🕊的是，练习题😴😙的难度被刻意调🖤🇳🇫整到一个"甜蜜🤽♂️🇵🇪区"——基⭐础模型大约🆚🇻🇬有30%到60%↗的概率能答对💻👨❤️👨。
这是因为打分员📂需要理解AI🍗🇪🇭在每一步的🦹♀️输出，🇬🇭🇨🇮从而估算当前🤽♂️📣局面的🧯价值，🐧而这种理解能🧷🐳力要求打分员具⏹备和A6️⃣🏉I相当的语言理解❔🌽能力🎚😝。从训练速👇度的角度来看，差🇺🇿距更为直🚵🇦🇿观🔸。第三是"功能性比👿🧂较"：对🕸⛔于每一对对🤭应区域，🍋有且仅有一条比较🐽🅰关系，🐕不允许🕌🗑出现一个👀区域对应多个比🙋🇫🇰较结论的情况8️⃣🍀。
