（来源：上观新闻）
“这是智谱第一😰个‘反榜单’的模🈚型，性能调优方👩🦳🤮向都从真实的客🎨🥴户需求中来🎾🇦🇷，”他表🎼😌示，“某种意🥙义上，这也🇯🇪🇨🇳是智谱的背水一⬛战🏭。航空航天领🇱🇰域技术壁垒高、自⏺主创新迫切🔆🇧🇩，具备很强📄的硬科技属性📸。两者均原生支持☀100万🔲🗼tok🤨en上下文🏠。值得一提的是，👨💼🇻🇪近日，东方⬆➡甄选还在推会员的😟🐗限时续费2+2🇪🇺🇪🇬活动，买两年会🇨🇰员（39🏜🇲🇾8元），📮⛩送两年会员🌇🔊。但对于动辄🕝🛒万人规🧜♂️模的互联网👝大厂而言，打📋🇲🇽破原有组织惯🎌🇳🇺性并非易事🍓🧠。
在100万🅱token上下文🙆场景下，🌸🚊V4 P👩🏫🌞ro的单toke👨🦲🇨🇬n推理☠FLO🇴🇲Ps仅为V3.2🖍的27🐃💗%，KV 💕cache🎉只有V3.2🦴的10%🍼。“如果比De🇧🇾⏹epSeek晚发🚟，性能不🇵🇦🔲如它们⛩，会影响股价；🕟但不发，💢也会影🇦🇬📳响股价🤰🇶🇦。甚至连眼前这🍎篇文章🇻🇮🇸🇿还没读完，就已🌩🇱🇸经跑到评🚃🗣论区吐槽作🤢者为啥写这么长，🧱📴然后 @ 📙元宝来份「🏁🕝省流版」了💬🧵。我们坚决响应🦗国家“投早、投小🈷👚、投硬科🚞技”号召，投🚪资项目超🦠🏸过90🥔🇳🇺%为“🥡🇼🇸专精特新”企业，👏部分获过国↔🦠家科学🏹👩🦲技术进步😏一等奖🧘♂️🇬🇪、承担多个🦝国家级重大专项，🗝硬科技属性很😨强🇺🇬👳。
据悉，🥗🛋CEO 达里奥 ☢· 阿🦕莫代伊早年曾在🚼谷歌担👍任 AI🎆 研究员📘。V4的🐤做法是把注🤤💬意力拆成两🌲种，交替叠用🧂： 一种🉐是CSA（压缩稀🕧Ⓜ疏注意力），先♉🦈把每若干to🔨😤ken🌛的KV缓存合并🐻🔄成摘要，再让☎每个quer3️⃣y只在🧞♀️🐽这些摘要🙋🧚♀️里挑选最相关🔲✈的top-k🍫条去算😊注意力——相👩🎓当于既压缩了“⏫要看的内容”，🍾又只挑“值得看的🇫🇲🎁”去算； 另一🎳‼种是H✊🧸CA（高压缩注意🤙力），用更激进🖋的压缩😲率把更长区间的t🇹🇷oken合并☢为一条，但保🎵持稠密注🌠🍅意力🧟♀️。
