（来源：上观新闻）
你们怎么👘理解 V👜🥅4 的整🖖体架构思🥠🕣路？ 赵🇰🇵🇮🇩晨阳：🕵️♀️V4 整🧀体保留了 De🛎⛱epSe🧼ekM😪oE 框架和📆 MTP （M👱♀️ult🧝♂️🍂i-T🕵️♀️oke🧕n Pred🥕iction，即🛌 “多 tok🤺🇧🇴en 预测”🎣，允许模型🐚一次性预测多个⛺ To🕦ken）🍋策略，但在四个🏴层面做了改造：注🦄⛹️♀️意力，用了🖇混合稀疏🌟📆注意力；残差🇨🇽，使用了 mHC🇭🇺；优化器，在这🔀么大的模型🙋♂️🇲🇰规模上使用了👟 Muon；0️⃣💎以及 ❌🇯🇴infra 🌡🍚的变化🧖♀️🇱🇻，其中两🐹个关键词🛸🏉是 Tile🦊🚃Lan💂g 和 FP👅🇸🇳4🧨。语音模型未必用得↕🚑上 PD 分离🕋🥁，但 M🚭TP 很🧮关键🦀🇮🇩。
由于业绩展望🐁🦂不及预期，消息🆒公布后，♉⏯其股价🦛🧮最初下🥬跌了7%🎻🔀。最近一😒🇮🇳年半，TileL📷ang 📺⛹已开始被全球🏂📬前沿 l⚾🎉ab 当作算法实💼现的默认选择📤之一🇺🇲🦊。人类的判断🇧🇫🤥需要AI📷的数据和😍🕊分析来校验；A🌸📁I的输出需要人类🇳🇦的价值判断🇧🇪和情境理解来解🇮🇱读和使用⚠。”小普也调🎳🐓权威域名侃，自己😙👺现在手底🍟2️⃣下有四五个🛒🚾AI兄😌弟，每天都需🏓要她管🔙理🥘。所以我🆖👜们设计了 💛🇾🇪Shad🔃🚡owRadix 🌟🇵🇹来应对——🖼🕕三个异构 KV 〽📜池（S🔴WA / C4🇺🇸⛅ / 🚧C12👩🍳8）加⛓两个压缩状态池，📛要在预填充🇲🇭、解码、投机📣😥解码三个🕑🚵♀️阶段保持同步🐐。
