（来源：上观新闻）
在数学、STEM🐞、竞赛型代👩⚖️码等推理🔄密集型任🌿务上，V4🤽♀️-Pro🧳🗒超越所有已知开👩👩👧💁源模型，比肩顶级📇🧞♀️闭源产品；🐱在Codefo🐇rce💯👩👩👧SEO/SEMs人类选手排行🦕榜上，V4-P🌿ro-M🔺🧨ax位列第23名🌫🐘；但在世界知识🧪方面——事实性🛤信息的覆盖广🇼🇫度，仅稍逊于⚱🇨🇭Gem🇩🇬🐪ini-Pro-🧝♂️🥡3.1👁。
这不是巧合，这🇵🇳是一条被悄🍭🇩🇬悄铺了很久的路🐟🇬🇲。一名混元研究员🥯🏵告诉我们，2⌛026年🔜🥙4月23🏟日发布的新⛪模型Hy3 🎈🧾previe🌱w，腾讯设定的目🛵标是跟上🧱第一梯队🎈🍨。以“一🙎人公司”来消化🇹🇰商务地产库存，🆒🏟以廉价的办公空间🇻🇪🛃来助力“🇸🇰㊙一人公司👨🏫”的成🕖长，这是一个互🇸🇭🧲惠互利的事情🔬。V4的做🇩🇪法是把注意力拆💕成两种，交替叠用🍳👨🦰： 一种是C😹SA（压🔭🇯🇴缩稀疏注意力），👍📃先把每若干⚾token的✋KV缓存🌻合并成摘要，再9️⃣让每个💵query🖲只在这🐜❗些摘要里挑选🎴最相关的t😏op-k条🕉🇵🇪去算注💗意力——相当于🧚♂️既压缩了“要看的🏄♀️内容”，又🔟只挑“值👩❤️💋👩🍛得看的”去算；🏹💩 另一种是HCA🇮🇨📒（高压缩注意力）🍉👙，用更激进的压缩💍率把更长区间🖋的tok🏴en合并✍😭为一条，但保🐧💁持稠密注意力🧗♀️。
