（来源：上观新闻）
谷歌的算盘：📶与其硬刚，不如⬅🇲🇶借力 谷歌愿意往😚名义上的竞争♊😝对手身上👱🧶百度sem砸400亿📧，看三☂🇲🇼个数字就能理解🐒。未来 5🈵💬 年，Go💺ogle🏪🐝 Clo⚙💼ud 🐹将向 A👫🧒nthrop⛺ic 提🎵供 5 吉瓦🔓规模的算力，后续🇧🇳还可能再增加🏋🎵数吉瓦🦇。对于 A🏦nthr🌊opic 和其他🔝 AI ➖百度sem开发商🔦🈹来说，算🆚力需求巨大，而 ⛅🥀TPU 🧘♀️正是稀缺且关键的🔢🤶资源🅿。这些需求，其🎿实正是当下大众消🇻🇦📼费趋势😷的反映，我们不🌂⚗百度sem再仅关注物理功能🇧🇷性的满足，而开始🏃♀️百度sem关照内心⛔💃，期待收获更📨多心理和情绪🦏层面的美好体🆘🥁验👩🏫🇺🇾。
V4的做法是把🇬🇵注意力拆成两种，🧓交替叠用🚁🧔： 一种是C♒🇻🇳SA（压缩稀🔼疏注意力），先🇬🇱把每若🇬🇪🌩干tok✋en的KV缓存合🌬❔并成摘要，😨再让每个🇮🇨query只🇧🇶👨在这些摘🎱🚹要里挑选最相关的🇸🇱🕯top-k条去算🙋注意力——相当🇪🇸于既压缩了“💡要看的内容🍍”，又只挑🥺“值得💱看的”去🇩🇪算； 另一种是H🇸🇭CA（高压缩注意👩💻力），👩🇩🇪用更激进的压缩🔺率把更长区间🧵的token🏢合并为一条，🗺但保持稠🎸密注意力💆。
