（来源：上观新闻）
因为KV en🔲tries🇸🇯🐷既做key又🌑🇵🇼做val🏔ue，nai🐾ve的🍹RoPE会让输🇲🇰出带上绝对⛸🍞位置信息，🤹♂️所以在🔄output端🎨也对应施加一👐个位置为-i的🔗RoPE来抵消，📫只保留🧨🌙相对位🕐置信息⁉🇲🇩。**一、问题🍖🍫的根源：AI评图🐒👨👧为何总是"差🥫🇧🇪那么一口气"🇨🇽** 在✔深入了解这项研👨🦳🚷究的解决方案之前🥖，有必要先弄🇿🇼🔮清楚问题究竟出🏌💁♂️在哪里🐿。在周三拉斯维加斯👻举行的Googl🕣🌂e C🔰🇫🇰lou🗨d Next 2🚫026大会上，☂谷歌云发布第♎八代张量处理器（🥮TPU）的两款🗯🔅新品——专为训练🚧👩💼设计的TPU 82️⃣t与专🔧为推理优化☺的TPU 8🍌📨i，这是谷歌首🏠🤕次将训练与🚆推理任务拆分🇻🇦至独立芯片❎，标志着🥍其AI🇩🇿硬件路🍶线的重大转向🍢🇩🇪。
此外，商业化芯片⚾📎还面临着📹🈴诸多相互关联的约🚹束，在实践🕙👨🦳中，这些约束需要🧔📩通过设计💋迭代来满足⁉👶。ToolS🔒andBo🍫x上也呈现了相😓同的规律：T🦉🍋RACE🇬🇦⛪的曲线🚁稳健上升🇮🇨，最终达到0.🇻🇪💺552，而🍂📔GRPO和🍙GEPA则分别停🛡留在0.51🚼9和0.5🇦🇷20🦷。早在20🔀🚰24年，董宇辉🌲离职事件中📆🇻🇬，俞敏洪就🔔曾表示，他吸取了🚹教训，正如新🌏东方要从早期⤴🍞以他为首🇧🇷👨👩👦👦的名师模式，🇦🇬↕转向所🇨🇿🤗有老师百花🥋齐放的状💁♂️🔰态🎥。更致命的🎖是，VLA只能🔹泛能站是什么意思“模仿”💭🧝♀️训练数🧬🇲🇻据中的轨👽迹，它👯♂️🇭🇺不理解🛷⛄杯子为什么⚗会掉，也不理😷解为什⏯么盘子悬在🦸♂️桌边需⤴🤼♀️要推回去🔗🚗。对每个query♐ token，⏮↖用一个轻量的🇸🇭🕘indexe🧨r计算它和🎅每个压♣🔰缩KV块的相关🈚🇵🇼性分数👩💼👀。
