（来源：上观新闻）
“我可能就要🌹💫说再见🇺🇳⏳了🛌🇸🇴。这种方式🥢🆒不需要事先标注🐷"正确答案长什🔅么样"，只🥂🥔泛站群程序需要能判断"答案⛹🤪是好是🏸坏"，因此非🇭🇲常适合复杂的多步🛥⛪骤任务场景😝。比如当🇲🇲🇩🇿失真图预测💌某个目标👶0️⃣区域存在🌽📒亮度增强失真，而👨👨👧🏖实际上该区👉🇵🇾域是干净的，G🏴🇺🇾PT-5 🇧🇾Mini🎯泛站群程序 有时会跟随🔒🔘失真图的错误⏮判断🇫🇴。
为了确认S🚔🇳🇺PPO的☸🚢优势确🥝🤡实来自🕧其核心设计思🎵↙想而非其他因素，♒研究团队还做◼了一个🔱🥭对照实验⛈🍨：把SP♈PO用来🀄训练价值模🚆型的方式🚺💲（二元交叉熵损失🚡👩🦰）直接嫁接到标🎽准PPO框🍊👖架上，📶其他一切保持不📒🧕变，命名为🆘"PPO + 🌕🤝BCE📥"🇨🇰🎒。如果这道题答🎓🔼对了，👩👧👧每一步🕠都受到同等强度的😋鼓励；如果答⛄错了，每一🇿🇲步都受到同等强度⛈🐵的惩罚🦔🎵。
这就是“⌨☂与世界交互”🇻🇨🚪的真正含义，不是🔼🇶🇦被动执行🍐👷♀️，而是主动学🎡习🇰🇷🎙。但效率，并不🦏🚅是机器人与人之间😳唯一可能🍁🍯的关系🔦🦡。尽管Herm🧡🧭es尝试通过抽象🐐和筛选提升🐛⌚效率，但这一🏓过程并👇非总是有效🥓🍃。它用系统化🥢♈的方式解决了一个🔭🇨🇩长期困扰A🆔🇧🇭I训练领域的🚤⏫难题：怎么🍦让一个🍬🏳️🌈已经"基本合格🌐"的AI，在特定🧵😕场景中变得真🦍🤖正可靠🦞🥉。
