（来源：上观新闻）
中国聚变产💖✅业当前⬆🎊最受关注的，是🧤💢由两支“国🥚家队”推进的两🇲🇸个重点🍇装置，均基👩🏭于磁约束托卡马🇲🇲🍲克（Toka🏉🎙mak）技术路👌线：一是由中😴🥐国科学院牵头↔组建的中国聚变🚬新能公司（🌪下称“聚变🇬🇶新能”），围🍐绕“东方超环”🇨🇿（EAST）装🕠👫蜘蛛繁殖能力强吗置，重点验证聚☢🧙♀️变所需的稳🤥态运行能🇹🇿🇵🇦力🛅。
V4的做😟法是把注意力拆🐛成两种，交替🍖😮叠用： 一🔎5️⃣种是C🇺🇿SA（压缩稀疏注🥵🏕意力），先把每若💢🕦干tok🇹🇲en的KV缓存🇹🇴合并成🔱摘要，再让🐹每个que🚡🛁ry只在🎉🦎这些摘要里🍵挑选最相🇩🇴🦒关的top📶-k条去算注意☂🇸🇲力——相当于既压☂🕧缩了“要看👴🐲的内容”，🛠🥘又只挑“值〽🍲得看的🏢🙎♂️”去算； 另一🎈种是HCA（高🌞🍠压缩注意力），🇱🇮📉用更激进的压缩率💁♂️⚒把更长区间的t🇸🇻😈oken合🇴🇲并为一条😋👀，但保持稠🦙密注意力🌱🦸♀️。
V4这次没有📸🇬🇧按行业惯例🇧🇹🕊给英伟达早🇭🇳💄期测试权限🇹🇦🍈，而是把🧸3️⃣提前适配的机🇸🇩🇲🇿会独家开放👰🙈给了华为🤚🐙昇腾和寒武♿🦜纪👨❤️💋👨⛵。
