（来源：上观新闻）
相比之🇨🇽🔂下，直接在目🖲👩👧标场景里进行🇧🇱🇵🇦GRPO训练🇱🇾的曲线显得波动🗃起伏，甚至在3🦇🚦840轮次时出现🍮🇮🇲了下滑（从37🆗↖.8%跌到35🧨.4%），最🇸🇿终停留在37.🥙🀄8%👙。但随着模型深度👇和参数🛁量继续往上👄🙅推，这🇲🇵🚶种补丁会🇺🇦变成刚需🧱。我们观😵察到一些模🌩😶型做出🇦🇿🍁了次优的设🐮🌕计选择，最终需👹要消耗🇺🇸大量令牌才🏝☑能进行优化🌄。在后训练⛰🇲🇰阶段，🍽🌡V4这一代🤥🎽做了一🇧🇦😿次方法论替换，传⛹统的mixed 🧛♂️RL阶段被🧞♂️On-🇷🇺Pol🐧🇭🇹icy Dis🤖tillati🇸🇨🔕on（OPD）完🚗全替代👩🦱◽。第四道😊🏰关卡是"状🔩🖲态连续📩🧖♂️性"🚦。内娱这回算是🎾铁了心，🚫🚶死磕A🦖🕚I不放了6️⃣。
在这个测👯试中，TRA🇲🇫CE以0🍢🔴.552的平均🎄🀄相似度和26个完🇰🇮美分（满🚝♍分1.🦡0）的成绩🦹♂️领先，而基础模型➖的成绩是0.4💑11和19🌩🇳🇦个完美🤲分，最强对比方🍮📮法是0.52🇧🇧📷0和22个完🇰🇾🇦🇨美分🇧🇯🇸🇭。（2）🌀对 RTL 和时🦷序的理解😚 我们观察到💨⏪一些模®👨🦱型将 Ve🎷🏮rilog（🏆一种事件👩👩👦驱动语言）视为🏬🤟顺序代码进行推理🐁。比如一个年迈的🛶独居老人，想要🇦🇸👨👨👧👧有人按🈚🤠时提醒他🥋吃药打针，扶他🕚👩❤️👩起床，推着轮椅带👱♀️🅱他出门散😂🇵🇸步； 比🐬🧟♀️如一个刚做完🥝🇪🇦手术的😎🧼病人，需要有人协🚜助他完成康复🕎📹训练中那些枯🖍👨🍳燥而重复的动作；😤 再比🇦🇽🇹🇭如一个喜🤮🔌欢打网球的🎅中学生，放学💄💍后想练几♈组发球，🎎可父母要上班，教🗿🎃练又排🇫🇰⚠不上合适的时间👩🎤🤟。
