（来源：上观新闻）
整个过程，我🇲🇳✴当然什么都不能管🇻🇬🇯🇴。V4的做法是把注🤧意力拆成两种，交👩🚒替叠用⛩： 一种是C🇸🇻SA（🧻压缩稀🇦🇫🌴疏注意🕤🌜力），先把每🦜🏫若干token🇭🇳的KV🇺🇦缓存合并🆑成摘要，再让🇲🇺每个quer🇨🇺y只在这⏺些摘要里挑选最相🌝🙆♂️关的top-🇻🇮👂k条去算👩🏫🙏注意力—🇰🇲—相当🈶于既压缩了“要🔂看的内容”🇮🇸，又只挑🧰“值得看的🕔🥧”去算； 🐕🐓另一种是HCA（🏓2️⃣高压缩注意🇮🇪力），用🧸更激进的压缩率💊🥑把更长区🇸🇩🚾间的token🥧合并为一条⏫🥂，但保持稠密注🛸🇹🇳意力🚍👟。
英伟达最新🇨🇦一代R💇♂️😑ubi🇧🇾🕶n GPU搭载👩👩👧👧🐰288🕒🔃GB HBM🔗4内存，而国产➖🥍芯片如📖昇腾910B的显♿存容量为64G🌧B🚼。起步阶段的东☄方甄选，陷入长🍠🇳🇱达半年的沉寂🤡。
