（来源：上观新闻）
这个伪量⬆化过程没有真🌴正前向计算，☎但会体现量化误🚣💏差🧓。晚点：正好👩🎓🎒这几天正在开 I🇸🇭CLR 🔪（国际学习表征⁉Ⓜ会议，Int🇩🇯erna👨👨👦🍐tional 🇰🇲💱Confe📐rence on🎶 Lea🧠🐴rni◻🌬ng Repr🎽ese🌔nta✋tion🤹♀️s，A☠🧽I 顶会之🌦一）， 🇷🇸大家在👲🎠会场是🇧🇭🇦🇫如何讨论 V☦🥕4 和同🐕期进展的？ 刘🇸🇳🧶益枫：有意思的🌮🇵🇷是，V4 放弃🇲🇫🍳超凡蜘蛛2免谷歌版中文版了从 V2 到 🇸🇿🔇V3 使用的 M👨👩👦👦🌑LA（注：多👭🇩🇬头潜在🤢🦸♂️注意力，由🍶 DeepSe🔜ek 提出），🐀而目前 K 🛴🙃2.6、😬GLM-5.🔽👨👨👧1 等模型依🍑然采用 MLA🇧🇼👩🎓。
模型同时🦵🇻🇬学习两件🐵🧝♂️事：自🔮🛁身运动如何改👧🥢变视觉画面👫🔖中的像素，📆以及运动的力🏬🗣和速度如何与手🧛♂️🦇中物体产生交🚚互🤖〰。刘益枫：英🔟🈯伟达的开🚟⛲源模型也用 F🇪🇬👩🎓P4🚟🇻🇮。
语音模型未👑➗必用得😏上 PD 分离🧺🏠，但 MTP 🛅🛰很关键🛑。比如写 ker🐇nel，就是结📎合底层硬件特性优😙👩🦱化计算🐸🧭。除了灯泡，🐎它还在记者💒🇵🇫面前随机抓取了😊🈲耳塞盒🆘、梳子🐕、钥匙串等形态🏄♀️♓各异的物品📭🤠，每次都能在几🚯😨下试探后成功捏👻🌥起，对不同形🚟状和材质🏦🇱🇮展现出明显🤦♀️🥇的泛化能🇱🇮🆗力🥘。
