（来源：上观新闻）
Q3：标👰准PPO🍺在推理训练中为什👨🎤么会失败，具体🇱🇰⏲是哪里🇹🇷出了问题💦？ A：标准🎱🦀PPO失败的🇺🇦🔦核心原因是"尾🈚🚓部效应"—👻—其内置🐰的打分员（Cri🛌🇷🇴tic）无法在👨🌾能给谷歌加速的软件几千步的推理过✝🍹程中有效分配🔁🦡奖惩信号🐏，而是一直等到推🚕🎺理接近✍🏩结尾才根据✏🧩最后几行文字🙎猜测结果，导致🇨🇷整个中间推理📟🐾过程既收不到有效😎激励，也收不⛎👘到有效惩😆罚🐣。一些细节微调包括👨👩👧👦，affin8️⃣ity sco🙂re的激活函数从🕧🕝Sigm🏪oid换成了S🧁🗓qrt🐤🐉(Soft🏃♀️🚽plus(·🧭))，去👨🔧掉了ro👩👩👧utin💊🤮g tar🤷♀️get nod🤽♀️es的数🏰量约束，前几💭层dense 🇲🇭FFN换成🕕了用Ha📲sh rout📤ing的M🐤🚳oE层🤚😧。
“这是一个非线🤝🈶性设计空间🍶，因此计算量增🍻长非常迅速，👨🎨📄”他说🕕。#01🇬🇲👩 为什🇦🇸🛑么需要🇰🇳多 Age🎨🆒nt？ 🙇先退一步聊一个绕🇲🇱不过去🚥的问题🇵🇹🇻🇺。“实际上🌲，专家指导和常🇺🇳🧜♂️识非常有帮助👩🔬😗。第三，采用Mu🚳on作为主优😬🇦🇽化器🐅。**二👬、一个关键🚠发现：GR⌛PO其实在"偷🍨⚙偷做别的事🔫"** 这篇💀论文最有🥋趣的地方在☔于，研究🤹♂️团队对GR🏳🇵🇰PO为何有效做出🥫🍃了一个全新的🏴解读，而这个解读🇪🇹🛩成为了他们提出🍱新方法🇪🇸👲的理论基🎟👐础🇸🇾。
35天后🛂✴，第一🥶1️⃣批“机器人实💙习生”将走进真实💓👮家庭🤳。AI必🔦🏩须在这种🇪🇪🍫模糊的🤤反馈中做出✨合理的判🤜断🥿👴。第二层是稀疏选📫🧓择，n/m变成t🛴🎗op-k🇬🇸⏹。HLE上V4-㊗🐧Pro-Max 👨🍳37.7，G🍓⛷emin👐i-3📜😤.1-🏴❇Pro 4🙈🌟4.4，Cl🍖🚠aude-O🧦🏂pus👡-4.6-M🇵🇦🏉ax 40.🔴0🍖🚺。领先所有开源🛸模型20个百😁🇬🇹分点🐍🏛。实验数据💝😾显示，🏃♀️🇮🇴SPPO大👟🕡约在22小时📮🔳内就能达到约58🕣📆分的峰值水平🇨🇺，而GRP🇮🇸O等方法需要明🚯显更长的时间才🌎能达到🔡👬可比水平，整体🦇速度差💓🍀能给谷歌加速的软件距约为5.9倍🤔。
