（来源：上观新闻）
这一次，不再是 🍹🇩🇲DALL·E 🙋系列的简单迭⛽代，而是一场彻头👨🦳彻尾的范式革🧟♂️命🤭。Q3：🏊♀️标准PPO在推🇨🇭理训练👡🔂中为什么会失➿👤败，具🇵🇰🇻🇦体是哪里出了问题🥁？ A：标🦚📬准PPO失败的核✉心原因是"尾🇵🇹部效应"—🇧🇴—其内置的打分员🛴🇯🇲（Cri🕐🇵🇲tic）无法在几📤千步的推理过程中👼有效分👠🇧🇹配奖惩🚀👨🔧信号，而是一🍛💽直等到推理接近结🥾尾才根据👓◀最后几行文🐽⛩字猜测🔽结果，导致整个中☺间推理🍟过程既🧲收不到🚒😘有效激励，😺🇲🇩也收不到有效惩罚🚌。
动作是最有说服🇦🇶床上有蜘蛛怎么办力的表态🇳🇺🌉。DC 没有依👨🎤赖“猜测😨👨👩👧👦”🕞。在标准PPO中🆎，那个"🇲🇹打分员"（C🎥riti🇧🇴c）通🕴常和被🚪训练的AI模🕡🇬🇾型一样🇻🇪😡大🦷。分析过程分为两💞个阶段🃏：先是"发现阶段🤟"，分析AI通过⛓⚠检查所有记录中的🚲工具调用、工🤮具返回结🛶🐘果和最终回复🐶，归纳出一🏐🇸🇷份候选⛄🇸🇪能力清单，并为😀🍉每种能力🍠起一个固定🙆♂️👨❤️👨名称和描述；然后📏🍭是"标⛔😔注阶段"🙊🎄，分析A🇻🇪✂I拿着这🦊👛份清单🐋🕉，逐一🏏检查每条任务记录🏚🏔，判断每种能力在✌🇦🇶这条记😒➗录中是"不🇸🇸🚣♀️需要"、"⚒已正确执行🙉"还是🇨🇱"本应执行🌳却没有执行"🇵🇹。
王昊在发💂♀️👨🔬布会上提出了两个🧳🐙很有趣↘🎧的概念：😯“糖水数据”与😦“牛奶数👩💼据”🚬⏮床上有蜘蛛怎么办。图1展🧿示了一个🐉🐣具体案例：在"◽侮辱性言论检🖊🍏测"这🇰🇳一任务🇨🇿上，AI🏄♀️科学家在23小🤤时内自主完成了🤠74轮实验，将🎆模型的👩👩👧👦验证集AUC（♠一种衡量♉🕤分类模型好坏的指🍺标，越接🇸🇹🈂近1越9️⃣好）从0.903🧻提升到🚭了0.😆🚀982，期间经🕉📞历了18次🙄"找到更好🙎🤽♂️方案并保留"📓💆的关键节点，同🤸♂️时也经历⛔💜了大量"尝👨🍳☕试无效果而丢弃"🛸💀的探索过🎮🥩程，全🚈💡程无需人🗼♨工干预💫💃。
