（来源：上观新闻）
全链潮涌 2🐤🐰015年，商业🕞航天有过一轮创业🇲🇩潮，核心🛍是基础♦设施攻坚💇🇧🇭。V4的1M🦝窗口意味着，Ag🦛ent可以在更长🎊的操作链里保持状☂🛑态连贯，📅处理更🥇大规模的🗃代码库，跨越更多🧁文档进行📑🇬🇸推理🍆💖。今年3月初，中🐢🇦🇷东地区冲突导致🇺🇸♓霍尔木兹海峡被👨👨👦封锁，制造芯片🇾🇪🗂的关键材料——光🐼刻胶所必需的基🚯础化工原料“石🌔🕊脑油”供应💱🆔出现严重🏞🙍♂️缺口🍆。Tran🕟🇧🇫spor〽🏌️♀️t Laye👑🇷🇺r 做了🇯🇵四套原🇺🇸生适配器：O🇲🇪🇪🇺penA🖤🍞I、An🙆🇰🇾thropi🏧🤦♀️c、Bedr🏏🏹ock、🌧🍀Gemin👗i，共享♾️同一个 base🇹🇯 接口🇵🇼。说不准其中💦🇱🇮很多上⛳👳榜用户，都🖨曾与你同❇行过☪。不光是在服务机🇦🇹器人专区🌷，在广交会的🎱展馆里随便❔🧶逛一逛，你👥都能看到：🍍 无人机在头顶🏙😠给人送®咖啡，机器人🚁🍘在舞台上🇫🇲🇬🇵大秀中🔴国功夫🧖♀️🇧🇩，过道上走两⛰步就能碰到一📱🦔台会跟你🎃🍻打招呼的智能设备🤦♀️，到了咨询台▫也有机器人为你服🕠务🧺🕍。
V4的做🐽法是把🇲🇦注意力拆成两种，🇺🇾📃交替叠用🎊🇷🇴： 一种是CSA💶（压缩稀疏注意力💷seo和geo是什么），先把每🙈若干token👩👦的KV缓存合并成🍎⬆摘要，再让每个q👸🐹uery🌘只在这些摘要😕里挑选最相关🤒🏡的top-k条去🦶🔜算注意力👜——相当于🌤既压缩了🖌“要看的🎤内容”，又只挑“🈸值得看的”去🖥算； 另一种是👉HCA（高🦐压缩注🇱🇸意力），用更激🇨🇼🌜进的压缩率把更长🇦🇴🇬🇸区间的tok🇲🇨💶seo和geo是什么en合并🇸🇷为一条👨🚀🇹🇫，但保持稠密注意🐊🎌力👩👩👦👦🚣。
