（来源：上观新闻）
（4:1、1🧛♀️🇨🇦28:🔅1 是指把 4🇵🇾🧯 个 t🎎🍁oke🤫n 聚合成一个表🇲🇼🇭🇳示和把 128🥉🇬🇮 个 tok🇵🇸👅en 聚合成⛵一个表示，所以💕⛅说 HCA 🛀的压缩更激🇹🇰进） 每层用🐚 CS👮A 还🇲🇷是 HCA 是预🐋🇨🇩定义的，因此面🈴🇦🇷对同一个长上下🌭文，不同层👇会从不◼⬆同视角去看——🏄♀️🍵稀疏层（🚮CSA）精确锁🇳🇮定关键 tok👨👨👧👦📛en，稠🍒密层（🖖↘HCA）提供整体💄语义概览🧀。
晚点：正好📺这几天正在开🧒⛷ IC🥟🥐LR （国🎪际学习🕧表征会议🌰🎂，Inter⚪natio📛nal C🇮🇳📲onfe🎁🇵🇷rence 🕹🈳on Learn🍋ing 🥴☹Rep🎤👷♀️resen🤣tations，🧚♂️AI 顶🧥会之一🌊）， 大家在会🇦🇼👥场是如何讨🧁论 V🇮🇪4 和同期🅿🥣进展的？ 刘📺益枫：有意思👨🍳💼的是，🇬🇶📗V4 放弃了从🍒 V2 到 V⛪3 使👩🚒🇧🇧用的 M↪⭐LA（注：多头潜🔢🐫在注意力，由 👩🎓DeepSee🇷🇺k 提出），🛋而目前 K 2🇹🇫.6、GL🗓😯M-5.1 等😂🇭🇷模型依然采🌔🇧🇱用 MLA🇫🇮。
