（来源：上观新闻）
为了确认S🦸♂️🇩🇰PPO的👒🇵🇳优势确💟❓实来自其核心设计⤴思想而非💻其他因素，研究团🦆队还做了🧫一个对照实验：🎈💐把SP💇♂️🍪PO用来🔥🎚训练价🔃值模型的方👒式（二元交🧻👒叉熵损🎍失）直接嫁🚘接到标🧖♂️准PPO框↘😣架上，其他一切保🍙🍮持不变🏺，命名为"P🇭🇰👩🌾PO +🇬🇩🤬 BCE"🌚。虽然我们发现这并♨🛌未影响⛱▪ DC 实现功能🇦🇷🍆正确性🕋👓的能力，但却增加🇰🇵了 DC 调试时🏂序问题的难👇度📷。
MoE部分仍然用☠◀Dee📀🍧pSeekM🌏oE，MTP🍹（Multi-➗Token 🌔🇪🇦Pred🍀iction）📙😆模块跟♦🇲🇨V3保持一🇻🇳致🇳🇮。这台机器🚼👨👧👦人身高🥍一米三🖋出头，🆕银灰色机身，握👁拍而立，站姿🇫🇰稳稳当当☪。AI每生成一个词⤵🇬🇵，系统就有一🏋️♀️个"打分员"（技🕎术上称为Cri🗼👞tic，批评😼家）在旁边估算⏱：按照现在这🦑👩❤️👩个走势，最终🛒🧳能答对的概率是多😕少？然后根据这🎉👜个概率，🅱奖励或惩罚🇧🇹刚才的每一🍾🇻🇪步操作🤖。
左为素人博主本人⏭照片，右为短剧😞🧯截图 普通🤹♀️🙅♂️人尚且如此，🌞🧧自带流量的头🇩🇬🇹🇦部艺人更是🕛🔌AI短剧盗脸重灾🆖🌇区😉。由于每种🇳🇮能力只对应🇬🇳一个单词（比🇬🇺如A、B、C）💕，模型只需要在这🍄些候选词之间选择🏦👨🎨，判断过程极为😪高效，📹每次任务🦎🕘只增加几秒钟☎的额外时🎰间📢👨❤️👨。
