（来源：上观新闻）
V4的做法👨🌾是把注意🎍力拆成😹😽两种，交替叠📝用： 一🔪🥽种是CSA（压缩📞稀疏注意🕡力），先把每若🌔🥇干toke🏣🌝n的KV🎐➰缓存合并成🍋摘要，再让每个🌸query只在♉这些摘🏋要里挑🚵♀️选最相🍉🇵🇰关的top-k条🇲🇰去算注意力👨⚕️👨👩👧👦——相🇳🇱5️⃣当于既压缩🦔了“要🇪🇦看的内容9️⃣🧙♂️”，又🇵🇼📁只挑“值得⬇⚜看的”去算； ➖另一种是🥴HCA👨💻（高压缩注意力🦈👛），用更激进的压👩🔬缩率把🐥更长区间的t🎭🇦🇨oke🕎geo和seo的区别n合并为一条🍓，但保持稠密注👩👧👧意力🐝🇹🇲。
甚至连眼前🏞💠这篇文章还没📌读完，就已经💶👠跑到评论区吐槽💃作者为啥写🍈🐒这么长，然🇸🇳后 @🍩 元宝🎌🧜♀️来份「🇲🇲省流版」了🔂◻。但现在它🦘🦃就是成了，🇬🇧💠这对于国产A☸I的发展影响🌵是很深远的🛄。摩根士丹7️⃣利预测，随🏣着核心◾9️⃣零部件的持续迭🚹代和产业链的👫🥳逐步成🏸⛽熟，人形机器🦀⛵人的价格正从动辄🇹🇭数十万美元的实验💃🇲🇿室样品，一步步🏚🇭🇷向大众市场🧤靠拢🇫🇮👩🍳。
“我从小就🍨好奇心重、爱📺🀄钻研，总🇱🇨🕔喜欢把东西拆开研🍎🇲🇬究，再一点🎎点组装复原🧔。不久前，📂OpenAI宣布📹🇭🇰在Cha🚕tGPT里上线🧬works🤨☘pace a👟😂gents，相⚗比过去那个⤵更像高级定制🤞😒聊天机器人的🔢🤚GPTs，w🎟orks📇🧗♂️pace 🔕agents⭐🕞明显更接近企🇧🇻业真正想要♊的AI员工🦔。
