（来源：上观新闻）
V4的做法是把🍤🌨注意力拆成两🕞种，交替叠用：💋 一种是🍰CSA（压⏬◽缩稀疏🚟👩🌾注意力），先🛁🇲🇦把每若干toke6️⃣🕎n的KV缓存💗🥯合并成摘要，🕯再让每个que🕖ry只在这些摘要💻♏里挑选最🛡🇽🇰相关的top-🙂🇸🇬k条去算注😁意力——相🐈当于既压缩了“要🍴看的内容”，又🧘♀️只挑“值得👨🎓📁看的”去算👩💼； 另一种是HC📕目录树A（高压缩注意力🍷📗），用☸🇨🇽更激进的🀄🧾压缩率把更🇸🇽长区间的t🍤oken合并为一⛽条，但保持稠密注🇻🇳🍽意力✌📉目录树。
而今年差🔼评更是在 M🇪🇬WC 现场看🇵🇲📵到了华为最新的 🙊Atlas🧗♂️✨ 95◾🇩🇴0，也🤛就是 819🦸♀️2 卡互🌯➖联的超🇬🇬节点🇷🇼。欧洲的产业💌🈚现状最具代表性👿。豆包某一个尺寸🔰的模型，光☀负责智商评测的就🆒有5人，负责🥥🏄♀️策略产品🇧🇲📕的有五六十人📒，“豆包、See🇲🇺👨👦👦danc☕☠e目前的🛰性能优势，都👹👚是靠人力堆出来🇳🇿的〰🧁。
与此同时，Op✏🐪enAI🍛的核心盟友🇰🇿👷微软，已悄然出现🥍在Anth🔁ropic🏁🇧🇪的投资方名单👚🇵🇦上——这是"🦍对冲"的极端🧖♂️版本：支🍟持OpenAI🦉🌎的Azure，🇸🇰🇮🇸同时也是An🤭🇳🇨throp⏯ic的一份🚾🔥算力供给🧺🎍。
