（来源：上观新闻）
为了确认SPP🌦🇦🇴O的优势确实🦄来自其核心设计🈵思想而非其他因🕋素，研究团队还🧬做了一个对照实🈳🤟验：把SPPO用👨⚖️🧪来训练🇨🇽🔇价值模🐉型的方式🧽（二元交叉熵损🧟♂️🏴失）直接嫁😗接到标😛🐻准PPO框架上💔☁，其他一切保持不🇻🇮🇵🇲变，命🍩🔢名为"PPO🥽 + B🌺🇷🇸CE"🍴🇲🇴。数据在模🏆🏒块之间每传递一🇻🇨次，就会发生♠一次信息💊👩🦲损耗和延迟🕟。
22日🏣✉当天，谷歌（N💈asdaq：📴GOOG🥋🔴L）开盘🏤股价涨❇超1%🇸🇮🚃，总市值4.0🇧🇿🏄5万亿美元🍯。Her🐧🎠mes则走向选👠择性记忆🏋👥。第一个测试场🇬🇮🇮🇷景叫τ?-Ben🏦💐ch，模拟的是真🈚实的客户服务工🇸🇯🥺作流程，分🇬🇦为航空公⛎司客服🎷🦜和零售客服🍁两个子领❌域，合计1🇳🇺64个任务🆘。实验结🗾🐥果相当显🇱🇻🚱著：在模拟客服场📧1️⃣景的测试😝中，经过TRA🎆🤽♂️CE训练的🇷🇺AI助手🕚🇹🇬，整体通过率从💲♥32.9🔍%跃升至47✖🇲🇭.0%，提🕯升了14🌯.1个百分点🦸♀️；在工㊙具使用测🇵🇳🚔试中，🏑🔓完美完成任🇲🇴务的次数也增加🛴🐛了7个🇧🇱🥋。
图1展示了📼一个具体案例🕜：在"侮🇧🇪辱性言论检测🥨🚶"这一任务上，A🕑🐞I科学家在2🛀3小时内自主完🇱🇧👩成了74轮🧪实验，将模型的验🎴证集AUC🤰⁉（一种衡量分类模🇮🇶☃型好坏的指标🤙🇧🇮，越接近1越🔧👾好）从🤴😲0.9📊03提升到🛄了0.982，🥽期间经历了18🔫🇬🇲次"找到更🌕好方案🦝😏并保留"的🆗新顶级域名关键节点，同时也👨🦲经历了大量"✋尝试无效果而丢弃🇨🇮🐀"的探索过程🏈🤡，全程无需🏒人工干预📀🇭🇳。
