（来源：上观新闻）
这或可在两位主🔖🆖播25日的👶😓发文中可窥🧯🚐见些许端🇵🇭倪👨👧👩🏭。在训练阶段，谁能🇱🇧买到更多高端◻❤GPU，🇧🇻谁能堆出更大集群🧘♂️🈲，谁就更🚵⭐有机会做出🎥更强的基础模型🆔。这也是🤼♀️为什么🏪长期以来，百🐩🧶万字上下文🙄要么是Go🐣🇪🇨ogl🚵♀️🎢e G🇷🇼emini的🧽🇨🇿独家王牌，🚇✡要么是实⌛验室里的漂亮数😔🧠字，太贵↗🍉了，用不🇵🇷🔮起⛩。它也开始学着，😳🕌让我们活得不😌🐗那么孤单⏰🧗♀️。
在内部85名开👨🔧📫发者和研究人员🇪🇨的调研中，超过九🇵🇳成认为V4🕡-Pro👨🦰已可作为首选🔅或接近首选的🚰👰编程模型5️⃣。V4的做法是🇻🇨把注意力拆成两种👼，交替叠用： 😶一种是CSA（压🥝缩稀疏🔔👨🔬注意力），🐉先把每若干to🐓🚙谷歌优化ken的ℹ💡KV缓存合并🤽♂️🕔成摘要，再让每🎲🌷个query🍿😱只在这些💼摘要里🈸🙅♂️挑选最相关的🤹♂️top💒🤴-k条去🔗📖算注意🔱力——相当于既压💝⤴缩了“要🚻看的内容”，🤾♀️又只挑“值得看🇸🇪🕶的”去算🌮； 另一种是HC◽A（高压📔缩注意🍌力），用更激进🇨🇮的压缩😏率把更长区间的🇬🇪🧧token合并为☸一条，但保持稠密🥞注意力🧖♀️🇨🇭。
