（来源：上观新闻）
大家发现🛡，未来模🤳📐型商业化可能🇬🇱更多是给 A📧gen🇲🇫♈t 提供 🇳🇦toke🎿🇵🇰n，而不是只靠🔅订阅🐡。晚点：正好这几🇷🇺🗼天正在开 I🍭CLR （🌂国际学🔲🤓习表征会议，I🏯nte🌟rnatio⏩nal 🎒Conf🧰ere☪nce🇨🇾 on👨👨👦👦 Lear💎🏙ning ⚫Repre👂sen🅾分级阅读的四大害处tations，🏸🐰AI 顶会💹之一），🐁 大家在会🕖场是如何🔳讨论 📽➕V4 和同期进🧲展的？ 刘益枫：🧖♂️💂♀️有意思的🏴☠️🚌是，V4🙁🦵 放弃了从 🤛🧡V2 到 V3 ❌🇮🇪使用的 MLA（🇳🇮🏜注：多头潜在注🎅意力，由👳♀️ Dee👴pSeek 提出🎀），而🤶🐃目前 K 2🌸🍐.6、G🇧🇶LM-5🍩☃.1 🚾⏭等模型依然🕤⚙采用 ⛓🌴MLA✔。
晚点：正🇦🇷🇸🇬好这里补充一组数🧢🤜据，在激活⌚参数比总参数🐎的比例上，Dee👨🏭⬅pSe🧖♂️ek-V4-Pr🌂👂o 刚超🍢过 3%，而 🔦👓V3 时是 🔶🕖5.5%8️⃣。而外媒在🎍🇧🇱报道中还提♏🙁到，苹果放弃Vi🇧🇹♓sion👨👩👦👦 Pro，还🕌🚷有另一重考🦊虑，他们正在研🖼🌂发智能眼镜，👩🍳🇱🇧最终将整合AR功🤖能，虽然苹果♌🥳暂时可🌟能还无法将部分🐞💇为Vi🎇🚌sion 🦌↘Pro开发的技术🔁用到智能眼🐰镜上，但智能🇲🇽眼镜更小、更🧓轻，能耗也更低📬。
“要平衡安👩👩👧全与便利🎛✔。（4:1😰、128:1🦊 是指🕛☣把 4 个 t🌑分级阅读的四大害处oken🎗 聚合成一个🏃♀️🚄表示和把 1🚌28 个 to🇪🇬ken 聚合📧🍆成一个表示，所🚚🎧以说 HCA📑🥃 的压缩更激🐬📕进） 每层👄🇧🇬用 CSA 还🇧🇱⌛是 HCA 是预👁️🗨️🏖定义的，因此📝©面对同一个长上下👨💻文，不同层会🐉👩👩👧👦从不同视角去看🚜——稀疏层（C☠📳SA）精确锁😫💕定关键 to🇸🇸ken，💆♂️稠密层🦛（HCA🐿）提供💡整体语义概览🚵♀️。
