（来源：上观新闻）
不同于侧重论🇻🇬📅文产出🥔🇪🇸的实验室，Wiℹll 是一个深度🧶🇮🇹融合研究🧀与工业落地的🔸👩🔬全栈式「创😂🤗新中枢」，❇🌼在北京、上海、🚹纽约均设有办公👉🥣室，依托顶级算💜力与数据🏈🖥资源，利🇸🇳用全链路工程实践🇻🇳解决真实挑🇶🇦🦄战，用🤼♂️极致工程水📼📑准定义未来的🎦科学发现↪🕖。
V4的做法是把注🚋😨意力拆成两种，🛰交替叠用🥡： 一种是CS👨🎓🕍A（压缩稀疏注意🇵🇷🇦🇨力），先把每♍👨⚕️若干tok☪en的KV缓🌵存合并成摘要，9️⃣再让每🇫🇷个query🕜只在这些摘要里🐸🎟挑选最相关🇿🇦🇸🇷的top🈷-k条📥去算注意力——🎫相当于既压🏋️♀️缩了“要看的👩🦲🐲内容”，又只👨👨👧👧🔇挑“值🔔得看的”去算🏆； 另一种是HC🌀🧣A（高压缩注👃🌨意力），用🚲🇲🇪更激进的压🕜🇧🇴缩率把更长区👞🏋️♀️广告投放平台间的toke🛣n合并为一条👨👨👧，但保持稠💭密注意力🚰💎。
第二，🐣🎅Ant🍒hropi☔🐎c在二级🖥市场的隐🚺含估值已🇹🇴🚵接近1万亿美😎元，在🐇👹AI企业市场的👨👩👦👦开发者📅份额上持续压制👸Gemini🦓的同类产🧹🇱🇧品🧧。”针对这一事件，👜💠一名Qwen员工🎗对我们这🇰🇿样评价🏋🖕。而这种改变的速度🦔8️⃣，要远比你我想🈸象的快👨❤️💋👨。整套架构🀄用 S🧞♀️che☝🌰ma 驱🌼动设计（🦉TypeBox 👽🍔定义 + AJ🐄V 校🚧🌁验），😀🇦🇨协议层可🇯🇲💳以说是非常🔽规范💏。
