（来源：上观新闻）
GRPO的方式是🧰目录编辑：出题，你➗👰和7个同学同时👨👨👦作答，老师把👩👩👧👦🇨🇩你的成⛺⛏绩和大家平均成🆘🏎绩做比较，🌺😙准确但费时🎛。测试结果👊😾显示，在🇦🇽😽难度最高🇰🇷的Ho🚎🍢pper和Mo🈴unt🇦🇫🚔ainCar任务🌽😥上，标准PPO几🌚🇮🇸乎完全失败🇹🇲，成功率停在🚢🇳🇵接近零🎈🍘的水平；而S🤼♂️PPO成功解🌜💨决了这两个🧛♂️🥛任务，成功⛪◀率稳步▫♣攀升♑。
这正是目🐚前大型语言模💛型（简称🇵🇸✊大模型，🕚🎱也就是C😕📔hatGPT、🇧🇬DeepSe🏭🤦♂️ek这类A⚗I）在学习复杂🇰🇲✖推理时面临👮的真实困境🧰🙊。失真图的🌘核心思想——把⛩两个比较对象👨🦱💎分解成对应🧻⚰的部分，为每🇩🇲个部分建立🖲☕节点、描述属性、🇬🇸标注比较🇸🇻关系——并不局限☦于图像质量评🚃估这一个🇱🇻🏏场景🌙。
三个模块各司👁️🗨️🇸🇾其职，数👛据依次传递☀➿。**七、价值✈🇯🇪模型学到了什么*🏬👙* 研🇮🇲🛰究团队🌨❔还专门分🇨🇽析了价值模🎡㊗型的质量，🇨🇽🏊♀️因为S🇾🇹PPO的🏳🐴整个机制都依赖📐于一个能准确预💤💩测题目💯🧂难度的价值模型💄🤹♂️。
