（来源：上观新闻）
”一名大语言🥙🗳模型研究🏭员告诉我们，“3️⃣google用什么加速软件尤其是🕝视频、3🔊D等涉及🤼♂️🇦🇽主观审美🔕7️⃣的多模🇪🇸态数据，🕧🧳各个厂商之间♠🦐google用什么加速软件的质量🍩🆚差距就会😻🚅显现出来🇨🇨🔶。但随着企业不⛈🕝断发展壮🇧🇩大，步入规模化、🙁🇶🇦规范化运💾营阶段，这种带🔝🇦🇷有强烈个人☺色彩、重人情轻规👜😀则的任性，😎逐渐演变成☯致命的管理短板🖱🎵。
” 不◾过，与外界😚关于“新🧲🇭🇺模型支持🏃♀️多模态生成和理解🇵🇰🎧”的猜🇱🇻测不同，V4依🇭🇹🐞然是个语👩🌾言模型🇭🇹。V4的🏴🧦做法是把注意🍈🧻力拆成两种，🕒🚌交替叠用：🏡 一种是😒😔CSA（压缩🕑稀疏注意力👱），先🇲🇼把每若干tok🇹🇻🌦en的KV🙍♂️缓存合并成摘要⛎，再让每个📤🇧🇯que⏱ry只在这些摘↘要里挑选最相关的📭top-k🏓条去算注意力🎆——相当于既压缩📃了“要看🔊👰的内容”，又只挑⛳🐗“值得看🥤🆗的”去算； 另一🧗♀️⛏种是HCA（🙊高压缩注🇦🇸意力）🧪，用更激进💢🇭🇹的压缩率把更🇵🇬长区间9️⃣的token🇰🇼合并为一条，🥥但保持稠密😥注意力📃👲。
过去几☃十年，广交会一🌸直是机械设备、电📆子产品和各🥏种工业制成品🇲🇨的秀场，客商🐌⛵们来到这里🌪⛩基本只奔着🇺🇿🔜三件事： 看😕🌽货、谈价、签单🐽🇮🇨。这意味着，把上下👄🥰文从128🖕K扩展🇭🇹💣到100万🧞♂️🐞token，理📃🇷🇴论上计算量会增长🇲🇰🤕约60倍🌰🖥。V4分为Pro🏢与Fl🇭🇺😛ash两个版本🎢🤒，均支持百万t🇬🇧✖oken超长上😑下文，🚧👩💼总参数🏙规模分别🈺9️⃣达到1.6T（激🧞♂️活49B）与☠284📽♠B（激活13B🎢🧬）🧁🗞。
