（来源：上观新闻）
这个发现让🛀↙研究团队想到了🀄❣一个问题🚄🇸🇳：既然🥀框架切换📲🇵🇾才是关键，我🧶们能不能在🤟保留这个🦄🇨🇦框架的同时，摆脱🚜🇲🇶多采样的🕍🇰🇾高昂代价？ 😋**三、S🎚PPO：用一个聪🐍🧙♂️泛站明的"预测🌰🧸员"替代一🇩🇿🚳批答案**♊🇱🇮 基于上述洞💇察，研究团队提🧡🔰出了他们的新方🍺🛂法：SPP🥡O（序列级近🇸🇬📲端策略👩👩👧👦优化）⌚🚳。
前三个头🛒📒使用交叉熵🇦🇫损失函数（适合分🇹🇯😨类任务），第🌗四个头使用L1损😄失函数😟🇦🇶（适合数值🇬🇮🇪🇪泛站回归任务）🚦🗄。V4的🏝做法是teac🔜🤳泛站her权🏂🎗重offloa🖥🇿🇼d到分🧩🕓布式存💋储按需⛹️♀️加载，只缓存🤢🚪hidden s🎯📢tates不ma🧯teria🐹lize🤞 logits⛷，按t🏙eac2️⃣🇸🇮her排序样👩👩👦本保证每个m😕ini-bat🤸♀️👼ch只加载一个t📇🃏eac💭👨her🇧🇴🙈 head😏⚖。sparse 🤗attenti🤒on不🇭🇲🔧是从头打开🍁🌾，前1T to👮♀️ken用dens🧝♂️e at🌈🥵tention做🐄🐤warmup💃😋，扩到6↖4K时才🇨🇽introd👐uce s🦊parsity🇲🇲。
由于单次👮♀️😼流片的👸成本可能高达数♊🍊千万美元，🇨🇭因此在生🔞产过程中“修🥴😽复”缺📰陷是不可㊗泛站接受的🙄🌻。跑分什7️⃣🍀么的我➿就不贴了，模型到🧾现在，最好🥂的测试👩🎨💂方式就🎯是直接放到自🥩🚂己的任务里去🛢🛀跑🇧🇯。研究团队🖌还测试了两个✨🥁基线方🍠法作为参照：🔉线性探针（在 🤾♂️🔮DINOv2♨ 特征📬📸上直接🔩套一层线↕性分类器）和注意🌓力探针（🤷♂️⏪在 D👡INOv🇹🇱2 特征上套一📂🇷🇸个带交叉注意🤵🇲🇵力的 T🌐🐯ransform♎👫er 模块）🤱。
