（来源：上观新闻）
美国走的是🍖“算力堆叠👮👲+商业驱动🗨”的路🇺🇿🇵🇸，用全球最强🤚🤠的GPU、最充🌑裕的资本、🐍🦔最激进的商🇱🇹业化来推🎋动模型能👩👧👧力不断突破🥯； 中国🖋🇮🇸走的是另一🛩🦸♀️条路，一条在📊算力受限、🦶🤖芯片被👕卡的条件下，只⏯🏚能靠架构创新和系👨👧统优化来“戴着镣🐛铐起舞”的路🇧🇶。
如果一个A📱I工具在🧰回答常识性🚟🏴问题时出错，C🇦🇲🇱🇻端用户通常🏄只会认为产品“🌩不够聪明🍫”，并尝试调整🏜提问方式🐽。V4的做法是🤺🌮把注意力拆成两🗳种，交替🈚叠用： 一👩❤️👩🇲🇰种是C🧞♂️SA（🍶压缩稀疏🇺🇸注意力），先把每🔺🚨若干t👚oken的KV🏦🏬缓存合并🍆成摘要，再让♻每个qu🛤🛰ery只🎢🛢在这些摘要里🍇🛌挑选最相关的to↔p-k条去算注🍞意力——相当于🇿🇦😚既压缩了“要看🇧🇪的内容”，🚁又只挑“值得看的🥛☢”去算； 另一🇧🇶种是HCA（高💴🚴压缩注意力🇹🇲😇），用更激进的🔁压缩率把更长区🇾🇪间的t🕑oke🇲🇳n合并为一条，但🥊保持稠密注意🎹力⛲。
同时，🇧🇯中国电池产业悄然🎸💆♂️打开了另一条🐤技术路线的大门🇨🇵🎺。所以我有时就🏫想，是不是⚜🧸需要有个东西，把🔓这些能力封装👨🦱好或者简化掉，让🤗💶小白用户、普通💱白领等群🐵🇧🇫体也能直😷接用上呢？ 甚至🛑🍔……我都📬想自己 vib🤹♀️❔e coding😩🧼 一个了📿。
