（来源：上观新闻）
Q3：标准🅿PPO在推♍🍃理训练中为什🍋么会失败，具体是👽哪里出了问题？ 🏍A：标准PPO失💺败的核心原因是😡🐪"尾部效应"🇲🇻🔓——其内🔌🕉置的打分🇸🇱超凡蜘蛛二免谷歌员（Cri♟️tic）😶🚂无法在几千步🏨的推理过💜程中有效分配➗奖惩信✒号，而是一直等到📪推理接🧢近结尾才😀根据最后几🚣♀️👩行文字猜测结果👨👩👧，导致整个🎧😍中间推理过程🚶既收不到🇪🇪🚺有效激励，也收🥼不到有效惩🚊罚🗿。
大部分多智能🇮🇩🚧体系统（也🗝就是由🇺🇦多个A🌚🕘I代理协作❤🇦🇹完成任务的系统）🇪🇦🇲🇳依赖的是"对话🛹接力"：一💔🤸♀️个AI完成一段🚔🚵♀️工作后，🇿🇼把结论用语言💸描述给下一👤🏴个AI，下一个🇸🇱♈AI基于这段🇧🇴😙描述继续工作😆。
MoE部💜分仍然用🛀DeepSeek🥠♨MoE，M2️⃣🌅TP（Mul🤾♂️🧒ti-Tok😆🛅en Pred🤾♀️iction）模👇块跟V🔔3保持😊🇮🇪一致🚢。研究团队✈🥧用数学🕵️♀️🥴工具仔细分📜析了GR🇨🇲🇳🇫PO的运作机🍄🚷制后发现：GRP👣🧥O之所🍄👨👨👧👦以奏效，👩👩👧👦🛤并不是因为"多采🇰🇷样"本身有什🚷😒么神奇之处，🇸🇪🛩而是因为它🇭🇷在不知不觉中把整🇲🇫个推理任务从一😂种框架🆓切换到了另一种🥤🔬框架🏃♀️👊。
