（来源：上观新闻）
研究团队测试了用🥂👩👦👦15亿参数模📌🤭型作为价👂值模型来辅助🙍♂️📻训练7🇲🇬👮0亿参数主🛣模型，两者相🥮⛏差约4.7👨🎓➡倍🌥🏀。方法论听⚫起来很优雅🌊🇯🇵。借鉴OpenAI🚺和Stream🧛♀️ing🐟📐LLM的tri🎺💂♀️ck，在att❔ention↔🤦♂️分母上🧨加一个le🇸🇮arnable🛳 sink l🍚ogit，允许🧷att🦊🇦🇹ent☯ion s📡core总和不🇰🇼等于1📡👮♀️。
” 骂💪🥰声再大，股🇨🇽价再跌💁，也无法阻止爱💳🍊奇艺的A🌿🥓I大计🥚。这就好比一🖐个判卷老师，全程💪不看解题过程🕖，只盯着最🌆🛥后一行看，凭👧⚫"感觉"打🕦🌤分💪🇻🇺。为了确认👨👦SPPO的优势确😷实来自其核心🎩设计思想而非其他↩因素，研究🗼团队还做了📇一个对照💰实验：把🛳SPPO用来🐠训练价值📍模型的方式（👝二元交叉🇪🇺熵损失🍝❓）直接嫁接到🙋🕕标准PPO框架上🅱🔨，其他一👌🦛切保持🛒😪不变，🇺🇾命名为"PPO 👨❤️👨⛅+ BCE🇺🇬"🇵🇬。
