（来源：上观新闻）
因为KV👩🔧 en🎚🍕tries既做🍎key又做va🚽lue，n🤡aive的🐌RoPE会让输🍘出带上绝对位置🇸🇨🆘信息，所以在⏸🎩output🔸端也对应施加一个🚡👍位置为-i的R👜🐁oPE来抵消，◼只保留相对位置信🚖🛫息🤚。它是一个新范☂式的起点🇩🇴💢。为了获🥺🕉取“牛奶数据☎🌓”，自变量团队进▶🚨入了超过🧝♀️100个🇧🇾🍅志愿者的真实🏐🧜♂️家庭，进行模🤡型训练🍧。单 Agent🛒⤵ 的能力一下子🇬🇦🍼快速提升，但行业🌘很快发现了两👷♀️🌚个绕不过✋去的问题💚。
为了确认SP👖🎿PO的优势确📟实来自其核心设🗃计思想而非其🔌他因素💖，研究🇮🇳团队还做了一📁💿个对照实验：把🚊SPPO⁉🗾用来训练价值模🇬🇧型的方式（🎬二元交叉熵🚴♀️⌨损失）直🍠🧱接嫁接到🇨🇨标准PPO框架🕓上，其他一切保持🐡不变，命名⚜🦉为"PPO➡🛐 + BCE"🎅。曾利用特斯✔⬛拉 在从Spa🚜ceX🤾♂️🇹🇰借款之前，🌟马斯克☮在其上市公司🕷💬特斯拉身上也采取🧨🚄过类似⚽🧞♂️做法🆑👨✈️。
更关键的🇨🇨💵问题在于🍡，这些🥩模型通过☎"监督微调"（可⤵以理解为"刷🥌🇲🇫题训练"🇱🇻）的方式习🙈得了固定的🍩🐴回答模板，就🧶像一个学生死记🏷🇸🇱硬背了👩🔧🕖几套答题公式🧽🇩🇪，一旦遇到没👹见过的题型☢就不知7️⃣所措🍚。前三个头使🧵🇧🇪用交叉🇪🇭熵损失函数（适合🔬🛠分类任务），第四😜⛎个头使用L🚺⛱1损失函数（💤适合数值回归任务⚠⛲）🇨🇨。但研究团➰队发现，当👩🏭你给这些模型🇽🇰🐻提出更具体的要🍪求——比如"请👨🚀告诉我这张图片里🤖每个区域的👴质量如何，🇹🇱🌿哪个区域出❗🦠了什么问题，严重🤟🇵🇾程度如何🕹🇺🇦"——它们🕒的表现就会令🌚泛域名 泛目录 收录 区别人失望🤫。
