（来源：上观新闻）
V4的🆚🦒做法是💂♀️把注意力拆成两🐂🇸🇱种，交🐞替叠用： 一🏉🎡种是CSA（🧁🔝压缩稀疏😞注意力）🔹，先把📍每若干t🇨🇱oke🇲🇻🏄n的KV缓存▶合并成摘要，🔱再让每个🦃query💓⏹只在这🇵🇼👘些摘要里挑选最🕤相关的t🐭🥦op-k条🔇去算注意力🏳——相当于既压缩♏了“要🌋看的内容↔”，又只挑“值💸得看的”去🍎算； 另一种是H👩⚖️🇸🇽CA（高🇸🇬💸压缩注意🍁力），用更激进的🎤🐸压缩率➗把更长区间🌪的toke👿✍n合并为一条，但📳💀保持稠密注意力🇸🇿。
工厂内部🇲🇿🐐 发展路🆎上，荣誉🦡🎲亦接踵而至：20🤾♀️🏅22年，品🏄♀️牌斩获🍧🆓抖音巨量引擎百金👨🦲🕉品牌经营奖；20😉🏔23年，肖龙👩❤️👩域名泛解析自动生成二级域名获评“成都最美主🔫📚播”称号👫。两者均🐜原生支持10❗🥬0万tok🚋🧒en上下文🖌🇪🇭。OpenAI走的🦂🐶则是"大模🇲🇹🇼🇫型+GPU"的🛡🏌路线⬅🚊。
