（来源：上观新闻）
每m个token🤾♀️的KV ent➗🥴ries，🔥通过一个🙇♀️带学习🆖👼权重的atten📭⚫tion-l🍋ike机制压💓成一个👤🏬。HLE上🇧🇲泛目录站V4-Pro-🇧🇮Max🌅 37😼.7，Gemin😎i-3.👌🔃1-Pro 4🔄4.4，Cl🔌aude💚👩✈️-Opus-4.📜6-M🥿ax 40🥭.0🚏🥦。
因为压缩🚲注意力保🇷🇸证严格🐳6️⃣因果性，一🚧个query 🇾🇹🇮🇲token看🚡不到自己压🕑🦊缩块内其他to🚧ken👨🦰的信息🥎。研究团队实验验证🤡🇳🇬了这一点🔩，并尝试了🧘♀️四种将多种📍能力合并进单一➿🏑模型的方法🇧🇱☁。
