（来源：上观新闻）
Q3：标准P🌞PO在推理训练💷中为什么会失败，🧂具体是哪里出了问🚺题？ A：标🕸准PPO失败的🧂🕢核心原因是"尾😙部效应"——其内📇👁置的打分🚜员（Criti🇲🇪c）无法在几千🥬🔩步的推理过程中有🕳🇬🇱效分配奖🦹♂️惩信号，而是一👑直等到推理接近结🙉🇹🇳尾才根据最后几🇯🇵🇲🇫行文字猜测结果，💹🇵🇹导致整个中间🔘🏈推理过程🌯⏰既收不到有效🤯激励，也🇳🇷收不到有效惩罚🍙。
此前表现相对较好😙📺的"迭🌺🌻代代理"系统（I🥔🇷🇪tera🍤👩👩👧👦tiveAgen⛄t）在Gemin😺😬i-3🔣🖤-Flash下每🇵🇪🛐个任务平🔛🐬均花费🇩🇯27.44美元，🇨🇰😦而AI科✡🐌学家只需15🤮.67美元，‼却能取得更高的分🤪数♨。这家最👩🚒⛱近核心人才流失，👨🦳🧙♂️新模型一直🚘🇻🇪难产，能不能👩🦲像之前那👓样给行业惊🛣🏯喜，不好说🈳。
