（来源：上观新闻）
在电子🇵🇳行业，热管理一直🥶是绕不🇧🇪开的问题🦌，机器人亦是如此🎛。这或可在🔘两位主♨播25日👆的发文中可窥见🗃📀些许端倪🌈💒。有媒体报道😿🛬，AI短剧行业⏳，90%的💯🌘公司都处于亏损🧔🌧状态⬇⤴。除此之外呢？🔂还有什么理由让🇦🇱🏴☠️国产模型拥👆抱国产 AI 🤨🕘硬件生🐕态吗？ 最✊近一个月大家应该⚠有感知，大模🧽型的能力越🎟🦊来越强，强到🇨🇮🏄♀️已经不只🎾🎊是能对话的程度🇲🇩🛄了💙。
这些能🖊👷让我们打造出很🎾多高性价比🥌的模型📃。不过，企业A🥖I这场仗并🇻🇨📨不会因为🤷♂️Ope🇹🇯nAI模型更强就🔟直接宣🐦😌布胜出🌖。要知道，羽毛🤽♂️😨球是对机器人动态🛴😡交互要求最高的💋运动之一🇸🇽。V4的做法是把注🧪✏意力拆成两种👮，交替❕叠用：🇭🇺⚰ 一种👏是CSA（🛌压缩稀疏注意力）👩👦❌，先把每若干🈶token的KV🇲🇳🇲🇻缓存合并成♈🐅摘要，再让🇲🇷每个q🇩🇿🇵🇹uery只在🥴这些摘♋要里挑选最相关的🦎top-k条去🚴👩🦲算注意力——🚿🔀相当于既压缩了“😖要看的内🧰容”，又只挑“值🔏google搜索优化得看的▫”去算； 另一种🛃📳是HCA🎟（高压缩注意力😔），用🌽更激进的🇨🇲💴压缩率把更长区间🐱🇭🇷的tok🈴🌃en合并🔄❌为一条✡，但保持稠密⛲注意力🇰🇪⬜。
