（来源：上观新闻）
在商言商🚴♀️，还是要回归理🈵性、精算🕗💱，而不要陷入某🇪🇪种模式的狂欢🤵🧞♂️。他坚持通过🍜👫这样的方式，精🎁准捕捉需🇰🇿求与反🤱✂馈，发现问题👩🏫🎅便第一💩时间组织团‼队优化🚹🙌。不论是😉👨🎓从有史以来🔅🔸最大力度的会员⛓🇰🇮续费活动，还🥔是花费大💂量时间筹备自🔥🈺营保健品，东方😂甄选的这🏋🛫些举措都希望🈳将消费者的🚜关注度从主播，集🔉😶中到自建Ap🔀p、自📒营产品上❇🎯。
用 Herm🥒🌀es 的人：🎬 开发者、极🇫🇯客、需要多模ℹ型对比的技术用户🇽🇰。V4的做📣法是把注意力拆🇧🇻成两种🥣，交替叠用： 🤼♀️🇬🇧一种是CS🇹🇻👨🌾A（压缩稀疏注👩❤️👩意力），先👩🦰🇩🇿把每若☹🏖干token的K🇰🇾😎V缓存合并成摘要💀🏉，再让每个qu🦉ery只在💇♂️🇰🇭这些摘🖊要里挑选最相关👨👧🐪的top-k条👕去算注意🎃力——相当于🌋🙊既压缩了“要看🤶🐭的内容”，又🥝只挑“值得看的”🎧🍬去算； 👩🎤🍱另一种是HC🦃A（高压缩注意🇰🇳力），用更激👨进的压缩率🛵把更长区间的to🤽♂️ken合并为🕜🇮🇹一条，但保🇳🇿持稠密注意力🚕🌶。
V4的做🏅法是把🛡注意力拆🏭🍑成两种，交替叠用🌴： 一种是C☣🕝SA（压缩🍦🇨🇺稀疏注意力）🐎🆎，先把每🧟♀️👀若干token🥯的KV缓存合并成👩🔬🇧🇱摘要，再让每个q🤣🤺uery只在这💺些摘要里挑选最™相关的t🇸🇭op-🥞k条去算注意🐍🇦🇫力——相📜🇷🇺当于既压🦒🇲🇷缩了“要看的🥶内容”，又只🇦🇿⛺谷歌登录挑“值得看的”👤💼去算； 另一种👽🛍是HCA4️⃣（高压缩注意🇦🇨🔈力），用更激😋💜进的压🇫🇮缩率把👨❤️💋👨➖更长区间🕞的tok🐱🎻en合🛎并为一条，但保持🏊🍣稠密注☑意力9️⃣。
