（来源：上观新闻）
“大象终于🔭📑被正视了💁♂️💹！”另🔩一位员💭工评论道🇬🇾。过去，训🦊练一个70亿🦡参数的推理模🎷🦒型需要同时加载📺一个同等大小的😔🥨打分员，内存🌈压力极🇱🇮大；而SP🥵PO允许用🇧🇪一个小十倍的模型🚧🥎担任价值预测🤼♀️者，让更多研🐶🧾究者能够在有限的🎲计算资源下开展🥉🍰实验🏞。（2）上🥐🕠下文管理😕📿 数据🦐中心必须提供L🌱🈺LM所需的信息，🧻🍩以便它们做🇧🇶🏒出正确😧的决策🇰🇲。
Q3：标准P⏳PO在推理训练中🍸🔴为什么会失败，🎣🇹🇷具体是哪里出了问🔩题？ A🎂➖：标准PP🚞O失败🌗🔦的核心原因💇是"尾部效🔠🚾应"——其内🙎♂️置的打分员🚰（Cr📦itic）无法🔠🇧🇫在几千步的推理🇹🇬过程中👩🔧有效分🛬🔈配奖惩信号，而是⚖👻一直等到推理🗒接近结尾😱才根据最后几行文🦘🆕字猜测结果🌛，导致整🧛♂️💴个中间💫🎏推理过程⛴既收不到有效激励➗🧳，也收不到👨👧👧有效惩罚🚋。这说明失😀🏓真图与🎴🇰🇮大模型之间形📝成了一种真正🔄🐩有意义的👩🚀协作关系🃏🇬🇪，而非简单的复制✋🎱粘贴🇲🇾💇。
他们发现，👬打分员实际上☄🇩🇿是在偷懒——🥍👚它根本不关心AI👨👨👧👦在推理过程中的💙🙆第三步、第五步、👉第二十步在🎡做什么，而是一🛥直等到🗿推理接近尾声🇹🇹，才突然"清🍽🇪🇪醒过来"，根据最⚪后几行文字👩❤️💋👩的语义特征猜☯测答案是否🧹👨🎤正确↕。在1.5🤙👩👧B规模（15亿🇵🇹😺参数）的🎗👨🍳模型上，标🇰🇷准PPO的综合平🇨🇱均分是44.06🚵♀️，甚至低❤🇱🇸于未经训练的基🇲🇶础模型（🛄44.96🤦♀️🤢）🌅。
