（来源：上观新闻）
V4的做🇱🇺▶法是把注意力🧫🇭🇰拆成两种，👩🌾📱交替叠用： 一🇱🇻种是CSA（压缩🦆稀疏注意🏌️♀️力），先把每若🇨🇦🥽干token的🚌KV缓存合并成摘💈要，再让每个🎁🕉query只🇪🇭🇦🇸在这些摘要里挑👨🏭🤥选最相🆑关的to🔷4️⃣p-k🌀🇲🇹条去算注意力—🇹🇹🌦—相当于🗄既压缩了“要看的🇫🇰内容”，又只挑“👽值得看的”去🇦🇮🌶算； 另🛵🙂一种是📏🛑HCA（高压缩🤝🇨🇭注意力）📣🇱🇰，用更激进的压缩🦋🌳率把更长区间的t🇹🇴🚞oken合并为一💱条，但保持稠🇱🇸密注意力🎃。
但需要注意的⛔是，日🌑本国内生产的石脑🇲🇳⛎油同样依🗝赖进口原油🦊💞——日本国内🇵🇲炼厂使用的🧖♂️原油超过90%🕴来自中东🆎。现实中的“一人🤑公司”，💺👪固然有一部分与🏯🇦🇷AI的性能进🗄化有关，但成🈺🇦🇼全这类公司的因👩👩👧👦🔨素，其实还要多🙃🇮🇪元和复杂得多🕵🎊。
我设了一👛🐓个「AI🇦🇺🇵🇫 日报」🎞，每天早🇬🇱🕴上 9 点🦚，自动搜集最🔙近 24 小🧧🏦时内的 AI 🚓新闻，筛出🥦🤽♀️ top 🇮🇪🛸20 条推✡🇸🇨给我🌇。但一个残酷的©🔹事实是，靠🦘👩✈️开源快速“💞冷启动”、🕢建立技术口碑的阶🚽😖段已经过去了👩🚀。
