（来源：上观新闻）
当然，这🇸🇮🛰个过程也是一个🇭🇹摸索的过🈸程，而不一定就🇷🇼🍴是什么👨🍳🧲成功的捷径、😃必成的密码🚮。V4的做法是把注🐅🛸意力拆成💫🏣两种，😯🇱🇧交替叠用： 一种⛽是CS↕💒A（压缩稀疏注🐱意力），先🕡🤴把每若干to🥤🛴ken的KV缓存🔘合并成摘🎟☁要，再让🎖🍰每个q🚫🤝uery只在这🛁😪些摘要里挑选最相📀🇱🇻关的top-🇬🇱k条去算注意力—🏩—相当于❗👍既压缩了“要看的🇸🇿♦内容”，🥅🏴又只挑“值得看的💽🍜”去算； 另一种🥚👔是HCA（高压🥽缩注意力），用更🙋激进的压缩率💽🕔把更长区间👴🇮🇨的token合🇲🇻并为一条，但保🤬持稠密注意🌰力🧘♂️。
结果是什么？一个🦸♀️🇧🇩原本需🇧🇮要80G🦸♀️B显存才能跑👶🧱的长上下文推理任🔨🌶务，在Engr👨🦰am架构👍下可能只➕需要8GB🌪🇸🇾显存🍳。他提到：“人们🌅有时会认🏄♀️✂为技术➗每年都会自动进🇸🇷😁步，但其💠😍实并非如此🎂🐍。“AI🇿🇼+服务业”重构🇨🇽社会经济逻辑 “👖AI+服务业🚭的内在逻辑是📆把原来由人↔👮操作，由🇬🇹🆕人提供生产服务🃏🧔、情绪价值的内🎌容，都可🍢👩🎤以由A🤖I完成🇵🇼超凡蜘蛛二免谷歌。
V4则换成🏘了“分化再统一”📱🕤的两步走：先针对🍭数学、📝🇵🇼代码、Agen🛬🎉t等不同领🤟域独立训🦐练专家模型，每个🇻🇪🎾专家都在📧自己的🔄赛道上🎢🇸🇹跑到最优；再用一🍧🐻种叫On👓🇱🇰-Policy☂ Distil👂lation📁🚕的方法，♥把十多个领域专家🍡“蒸馏”回一✴超凡蜘蛛二免谷歌个统一的学生🈺模型——学生自㊙🐁己生成回答，针☯📠对每个🍌回答匹配最🌡🇿🇲懂这个问题的专🦸♂️家的输出分布，💣🤷♀️通过logi🎅🥭t级对🔊🇳🇴齐把能力吸收🏧进来🌓🍖。
