（来源：上观新闻）
通常，只🎿需要 B🚜ash、Edi👎t 和 Sub🦒agent ⚱🦛这三个工👩👦👦🤴具，但也可以使用🇰🇷这些工具的🤮定制版本以🇬🇷🥮及其他工具来🔮♟️提高性能🏌。Q3：标准P🐞👠PO在推理训练中👨🚀🍂为什么🐕会失败，具体是哪😀🅾里出了问题？ A🈂🙎：标准🧻☦PPO失败的核🎶🌅心原因是"👒尾部效🏨🏌️♀️应"——🍢其内置的打🇧🇷🍩分员（C🐆ritic）👨👩👧👧无法在几千🇱🇨步的推理过❔程中有效分配奖☦👨🎨惩信号，而是👨🌾👨⚖️一直等到推理接近🍇👩🦰结尾才根🇸🇩据最后💡🍻几行文字猜测结🐤🧝♂️果，导😪🖤致整个中间推理🏃♀️🦟过程既收不到有🦸♀️🉐效激励😦🐻，也收不到有🤼♀️效惩罚👨🚒。
但在实际使🌰用中，这一过🐭程高度依赖模型判🌙断🇳🇷。其中最主要的是🛅🧞♀️需要极高的功🇲🇼能测试🐡覆盖率—👩⚖️🔱—也就是说，需要💰进行测试以确👯保设备在运行中不🎴🤽♀️存在任何“缺🧸🐦陷”，并且置信🌧度非常高㊗。这个数字背后🇦🇮，是AI🍨生成内容野蛮🐫👢生长的一个切面🛡👃。压缩过🦒🥪程也没有C🚲SA那样的👩🌾🇨🇫overl🧭🧝♂️ap，直接每🚵m’个一组🇻🇨压⏩。由于每种能🇧🇿力只对应一🇨🇫🐂个单词🖱🧽（比如A、🇧🇫💺蜘蛛入侵B、C），🔌🐉模型只🐕😉需要在这些候选词🚫之间选择，判📸🗯断过程极🦡🇬🇧为高效😦🇪🇪，每次任务只🗞🇮🇶增加几秒钟♾️的额外时💸间👈🇲🇩。他还表示，马斯克🇮🇨🚺“随着时🧙♀️间的推移变得越来🤯越不透明”🏖🀄。
