（来源：上观新闻）
有人说👨🏫🥺俞浩的炮🏴☠️轰只是🚭他作为用户🕢🍙对平台的“🇫🇷吐槽”，但若了🥾解自媒体名🇧🇲人的功能属性，👃就会发现这实际🇸🇳☀上是在🇫🇰😛大庭广众之下的公🐁开表达，📢☘与群里私下🇰🇾👝说、与舆论监督◼是两回事🍋。。） 此外，我们🇨🇾最近发的🎊第三方广告监测 HiS👨👩👧👧🇮🇴parse 把🧓👩🔬稀疏注意力🐋🇧🇬的 KV 卸载到🎏🦘主机内存，在长上🚷🔋下文场景👨🔬🇨🇨能拿到🔀 5 倍吞吐🇨🇴🇸🇴。
你们怎么🍊🇱🇾理解 V4 的整🇵🇫1️⃣体架构思路？😳🤮 赵晨阳：V4📊🧕 整体保留了 🐴🍘Dee🎀🐖pSe🔵👩❤️💋👩ekM🔴oE 框架和 ☹MTP （Mul🥁ti-Toke🇦🇿🎥n Predic🕊🗾tion，即 “📵🇸🇾多 toke🇳🇫🇺🇲n 预测”，允许🤟🎸模型一次性预测多🉑个 Tok🙅en）策略，但在👻四个层面做🅰😅了改造：注意力🦉，用了混合稀疏注👨🦳🚔意力；残差，使用🆖了 mHC；优化🌍器，在这👨🏇么大的模🗯🇩🇴型规模上🎷使用了 🇵🇷🇫🇲Muon🇱🇺🚂；以及 i🥃🇵🇾nfra 🕳的变化，其中两个👨🎨关键词是 👨🍳🗿Til🇳🇪eLang 和 🇱🇾🇰🇷FP4😩🌮。
