（来源：上观新闻）
V4的做法是把🔦注意力拆☮🥫成两种，交🇮🇹替叠用： 🌓🛵scm供应链管理一种是CSA（🇲🇼压缩稀疏注意😯🎥力），先把每若🔕6️⃣干toke🇨🇽🦸♀️n的KV缓存🚖合并成摘要，再🛢让每个que🔉🇷🇪ry只在这些摘🍝💖要里挑选1️⃣🕣最相关的to🏎🇩🇪p-k条去算🚕🤸♀️注意力—🇵🇰🌍—相当🇺🇳于既压缩了“👫🇧🇲要看的🍃内容”，🤽♂️🍡又只挑“值🥋🚠得看的”去算；🇹🇴🐟 另一种是H🇦🇽CA（🛋🇹🇴高压缩➗注意力🎵⚔），用更激进的压🇭🇺缩率把更长区间📀的tok🇿🇲🧖♀️en合并为一🇩🇰🐘条，但保🐺🇦🇽持稠密注意力🐥🚉。
所以最近几🎖🐛年托尼🚑也开始看👨🦳🎣到像 TileL🏫👨❤️💋👨ang5️⃣🇰🇷 这类😄由中国主💷🔞导的生态🇲🇳🎆项目，尝试在🔫不同的方向构⛏建出属于自己的🔐护城河♎。DeepSee🤨🙎♂️k至今👩🔬保持着一些在👭👨👨👧👧全球AI圈都极其💻📒罕见的习惯：👢不打卡、没有明确🕷‼的绩效考核，🚣♀️😭平日里多数员👨⚖️工会在下午六七🐩点离开公司🕑⚱。
