（来源：上观新闻）
一名六小🐧🇨🇽虎中层曾对我们🆎🛤假设：以Ki🚟mi和👠豆包为主🏘角，AI应😋用激进的🇲🇬⌛投流大战，大概🎻率会持续到🕍2025年🧭Q2，按❕照平均😏↪每个季度2亿美金🎣的投流支出，🇧🇹月暗会因资金✖🇰🇪压力率先败下阵🇬🇦🐅。
谷歌的TPU是🔘👨🚀英伟达芯片最具🇰🇳竞争力🥜的替代方案之一🇲🇬🥗，在这个🇸🇴🧧对算力需求极为庞🔁大的行业▫中，TPU对An📛😢thr🧫🦗opi🎨⚾c及其他AI开发🧳者而言是稀缺🙏🔯而宝贵🕓的资源🇱🇺。在100万t🚁oken上下文♥场景下，V🚊🇦🇼4 P💟ro的单to🌇🐢ken推理FL🌽OPs仅为🤗V3.2🤹♀️🤢的27%📴，KV☝ ca🚣che只👩👧👦有V3.2🕵️♀️🦄的10%🇦🇼。
V4的做法是🇹🇨把注意力拆成两种🥰，交替叠👖用： 一种是C🧖♀️SA（压缩稀🇦🇴疏注意🇦🇬🐧力），先把每🔉若干token的🇦🇹KV缓存合并🔐🚟成摘要，再😈让每个☹🌼query只在⏭这些摘😫要里挑选最相ℹ🇸🇪关的top-k条👑去算注意力♉——相当于既压📢🤦♀️缩了“要看的😌🔊内容”，🎡又只挑“值得看👨👧👦的”去算； 另一👾种是H🏹🧞♂️CA（高压缩注意🇲🇽🐹力），用更激🇭🇹⏳进的压缩率把🍞更长区间的🗽🎼token合并🎆为一条🏵🧶，但保持稠密注意👨🔧力🇲🇺。
