（来源：上观新闻）
AI每生成一个🚂🚏词，系🐶🚾统就有一个"打分📱员"（技术⭕上称为Cr😽itic🍭，批评📹家）在旁边😨🧢估算：按照现💪在这个走势🇪🇺🇾🇹，最终能答对的🎰🎲概率是多🎇少？然后根据👯♂️🌍这个概😜🚻率，奖励😗或惩罚刚🗨才的每一步操👨💻作🏴⛅。当下大多数A⛑I训练方法面对的🛷🗺正是这个🤬困境👚。只有一小撮人认🧤为，这🎳🧶类题材🛋🌬适合AI创🚧🌌作👨🔧。**七、价值模型🎙🏺学到了什么**🇦🇪 研究团队还专🕸😵门分析⚪⚫了价值模型🎳🇳🇪的质量，因为🇬🇫📴SPPO的整个📋机制都依💡赖于一个能准确预👨🦱测题目难度的💾🚏价值模型🔥。这种探索工🚡作是浪费的🍺🇵🇷，不必要地消耗了🐦🙅♂️令牌，而如果模型⚠📏对架构和工程🍏🇮🇨有更深入🍶✅的理解，这🥗🇬🇶些浪费是可以避🤷♂️免的🔯😃。
这意味着🖲，演员未来无⤵需肉身拍戏，只☘需向平台〰💈物理意义上出卖🐊自己的脸⏲，就能在家🚡🧲躺着数钱📔♊。**六、👖🥳不只是纸上谈兵：📀🌚在经典🏆游戏控制任务上💿的验证** 为了🙂🏴排除"🥚✊成功可能只🍖是因为在某🍀🧮个特定训练🚓🛀框架下的🌴系统优化"这一疑🇬🇬虑，研究🏴☠️团队把SPPO移✅植到了🇧🇬五个经🍤🎳典的强化学习👂控制任⛽🌽务上：精密版C↖🕢artPole（📯控制杆🇬🇱😰子不倒）、Mou🍮ntainC0️⃣ar（让小车爬上🦹♀️🌳山）、Hopp👩👩👦er（双足♋机器人🌂前进）、Luna🎢rLan👨⚒der（❎月球着陆器着陆）🎢和Pendul♓um（🌼保持摆杆直立）⏪。HLE上V4-💁🦘Pro-Max🈵 37🔱.7，Gem💒ini-3.🐵🦁1-Pro🆒🔶 44🍿🥒.4，C🍛🦐laude🧸-Opus-🇦🇨4.6-M⏬ax 40.🇪🇪0🍿。这就是“与世🚻🙆界交互”🅰🏌的真正含🇭🇹👯义，不是🔭被动执行，🌷🚊而是主动学习🙋♂️。
