（来源：上观新闻）
V4的做法是把🍘📖注意力拆成两种➕🏥，交替叠用： 一🇳🇦🏥种是CSA（压🤒缩稀疏注意📩力），先把🇨🇱◻每若干t👨🔬📪oken的KV🏵📄缓存合📪并成摘🧨👎要，再让每个qu👨👨👦ery🇰🇪只在这些🇬🇶🔘摘要里📡挑选最相关的🇴🇲top-k条去👼🐷算注意力——🤦♀️🥅相当于既压缩了“🇮🇱🇸🇱要看的🇪🇦🕊内容”，又🇬🇪🆓只挑“值得看的🏺”去算；🍂 另一种是HC🛶A（高压缩注意🔟力），用🌬🇸🇴SEO是什么意思更激进的压🧖♀️缩率把更🇲🇫😄长区间🚚✊的tok♍en合🔗👴并为一条，⬇🇧🇷但保持稠密注意🕞力🚒。
对于不懂技术的朋🚰友来说🤪💮，光是第一步就⛵😭卡住了🍒。超节点的🗜🌆概念就是英⁉伟达提出🇲🇿📢的，老黄也做了👩💻⛺相应的布局，➿NVL72🇲🇪 系统把 72🐿🐖 个Black🇵🇼well 🔹🏁GPU 🧗♀️😆集成到🌱一个液冷机😕🇧🇷柜中，达成🚶♀️🏜了约 18👨❤️👨☹0 PF💚LOP📀s 的 F🇪🇪👇P16 算♠力🇪🇬🎢。
