（来源：上观新闻）
ASIC路线🇱🇮🏝的优势🚵是能效比🚃高、单位算🥳🙇力成本更低，但🥶定制化♉🧡程度高，↕📂生态灵活性相对受⛔🇩🇲限；GP🍴U路线的优势是🇩🇬通用性强🎽🎮、开发者生态更广🎤🔽，但功耗👩🌾↕和成本居高📦7️⃣不下🦀💔。“阿么手工女鞋”🥡💆♂️创始人肖😮龙 从🈂日销百万到负债🌇✋3300万🚥 他把自🌴己“搬”进🧪直播间 🈸🇷🇸SCM系统肖龙出生于四川🌡巴中恩阳区下八庙🤛🥖镇印盒山👨🚀村🥍🇲🇩。谷歌和🔄🥧 Ant📿🏡hropic 😐都想率先打造出🥬能力接近人🔘🍔类的 💇♂️🇽🇰AI，并把相关👕☕工具卖给🤾♂️🇸🇳各行各业的企业🇱🇦🇵🇾。在训练阶段👆📩，谁能买到🇲🇫更多高端GP❤🚊U，谁能堆出🚓🧻更大集群，谁🥟🆎就更有机会做🐦出更强的基础模💛🇧🇸型🇴🇲🖕。
关于模型的👘🇨🇷具体内容，🤘在白天的🥼文章中👨🦲已经提到☹，就不重🧳❇复了🇸🇿🇹🇱。V4的🚜做法是把☦🚦注意力拆💺↗成两种，交💚🥥替叠用： 一种🐫🥢是CSA（压缩稀🤶😿疏注意力）🦝，先把每若🇹🇿干to🏓⛸ken的KV缓💍💐存合并👕🐙成摘要，🈁🇦🇮再让每个🌩query只🇸🇬👱♀️在这些摘要里挑选⛹️♀️最相关的top-🎥🐜k条去⬆🇼🇸算注意力——🏭相当于😦既压缩了“要😠看的内容”，又只👩🏭挑“值得看的”去🎹🤹♀️算； 🦉🐈另一种💣📉是HCA💰（高压缩注⌨意力），用更👨👨👧👦🛄激进的压缩📸率把更🦊长区间的👩💻token😽合并为一条👵SCM系统，但保持稠密注意🐻🚁力🍍🇬🇬。
