（来源：上观新闻）
V4的做法是🎹🔊把注意力拆🌙🤭成两种，交替🥪叠用： 一种是🤫👨👨👦CSA（压缩稀疏💀🚍注意力）👨👨👧👧，先把每若干t😞🌡oken📛的KV缓存合并成🏆摘要，♌蜘蛛浏览器再让每个qu🗑😵ery只在这🎁些摘要里挑选最相🎥关的top-🐢k条去算注意👩👧👧蜘蛛浏览器力——👆相当于既压缩❌了“要看的内ℹ🚹容”，又只挑“🔦😕值得看的”🏴🤐去算； 另一种是🍺HCA📃（高压缩🏴注意力），😖4️⃣用更激进的压缩🇧🇹🐱率把更长区间的↗token合并🗣❎为一条📈，但保持稠密注意☯力👑🏸。
例如，商😚家不再需要通过🇲🇱🐓后台多级🥭菜单查找数据🔧，而是直接🇯🇲🇷🇴通过对话方式调取💁当日交易量🎃。彼时的东🥋🎾方甄选，人才济🚠🇲🇭济、蒸蒸日上🎠🔻。部署生😾态方面，开发者可🥑🚼通过 NV🇦🇸🦸♂️IDIA NIM🦋 微服🈯🧖♂️务下载部署，或利🇸🇴用 SG🗃Lang 与💻🇦🇷 vLLM 框架💇♂️🦞进行定制化推理🦸♀️👩🎤。
不论如何，从硬件📲💎到软件，从模型🐏🇧🇾到生态，🇪🇨🥦全链路国产化🇹🇷，是必须👁🤖要做的🕖。但对于动辄万↗🥭人规模的互联❤网大厂🇬🇾🐬而言，打👨👦🌳破原有🗿组织惯性💘🇬🇪并非易事🐘。
