（来源：上观新闻）
Q3：标准P👒PO在推理训练🗒中为什么🇵🇲会失败，具体是🌉🇱🇰哪里出了问🇹🇴题？ A：🤲🗽标准PPO失败的🐒🍅核心原因是"尾🥅😀部效应"——其内🌄🕕置的打分员（Cr😔🌬itic）无法在🇹🇬⭕几千步的🖍推理过🦹♂️程中有效分👅配奖惩信号，而是👯🐸一直等到推理接近🙌结尾才根据最后几🌁行文字猜测结📶🦡果，导🎳🔈致整个中间🦉🇧🇷推理过程既收不🇨🇵📘到有效激励，也👉👼收不到有效惩🇮🇳🗑罚👯。去年年底，动🇩🇪易科技⛓💄发布了一段人形👈机器人➕和人自主对打🇻🇦羽毛球的技术视🍟🇧🇼频，在行业里📣🖼引起不小的关注🍱🏠。
结果显示，这个混🇨🇺👨👦合方案☢和标准PPO🌛💍一样不稳定🥌，同样出现了性🎬🐍能崩溃🦢🥝。实验结论📔🇬🇧 在实👨👧👧验部分👱♀️⛎，有三件最值得说🧺💊的事🐊⏯。这张图谱，🤭🇲🇫被研究团队🦏🐄命名为**失真⛅图（Dis🇮🇶torti⁉on Graph😔👌，简称 💮DG）🕌📞**🦓。凭借AI工具的普🌼及与算力成本的🐂下降，过去需要📡🌜数十人乃至上百🔹🥦人的团队才🔬👩🚒能完成🐟🇨🇲的产品🅰开发、市场验证🇸🇻与商业落地，🍋📣如今仅靠小🇩🇴团队便可推进💜。
