（来源：上观新闻）
V4的做法🇨🇴是把注意力⛴拆成两种，交🕥🐥替叠用🐹💂： 一种是CSA👩🔬（压缩🧜♂️🇸🇴稀疏注意力），📖🇫🇲先把每若干tok🗺en的KV💮🇲🇨缓存合并成🖇摘要，再让每个🤐query只😂🕠在这些摘要🇨🇴🇨🇼里挑选最相🈚🐝关的top-k🍵🔤条去算注意力——⛷🔜BAIDU优化相当于既压🚽🎽缩了“要看🚎🧟♀️的内容”，又只挑🚨😰“值得看的”去算⏳😰； 另🧞♂️🍻一种是HC🍢A（高压缩注意🐀🧢力），用更🇲🇾🍚激进的压🗼⌨缩率把👯🥨更长区间的to🙈ken合并🚠⚔为一条，但保🇸🇬持稠密🐭注意力🗑🕞BAIDU优化。
内置 12 8️⃣📒个核心技能，涵盖🇹🇨百度百📖科数据、图片🌀🇩🇯生成、视🛄🧭频生成😼、深度研究⚒、文档处理🛑📘、浏览器操作等🇱🇰。这恰恰是腾讯🇽🇰、飞书、钉🛏🆕钉的机会，它们🖍🦝不一定💘💍在模型🃏3️⃣能力上压过Ope🇧🇼🇺🇬nAI，但在企业😕🚬工作流🥞上，它💨们要比 👉♑Ope👩🦰😼nAI 懂得🇮🇨🇦🇿多🌄。这是Deep🧝♀️📪Seek第🧰👨❤️💋👨一次同时🈯动Trans🦉👩👧👦former的注👍意力、残差、😲优化器这↔三处核心结构🚯。
