（来源：上观新闻）
我们正朝着为数十👕纳网域名注册亿人提⤴📠供个人超级智能的🍌目标稳步前❎进🔊。其一是算法推荐🇻🇨过于强调所谓🇧🇳🛏“用户偏好”等👩✈️，缺少了主流🕜🇹🇻价值，导致优质内🔓🦄容能见度📊🇸🇪低，不利于形成积🎄极健康向上的🛌价值导🙄😃向🚻。你发了🇦🇹💃一条朋友🕊🇹🇳圈，五分🗻🇾🇪钟后有人点赞，大🤝🧁脑分泌多巴🇸🇩胺🥾。
那你们观察😬🦵到各家的差异👩🏭是什么♒？ 赵晨↔阳：开源模👨👧👦型里，Dee🥨pSee🔜👽k 和 K👨💻👍imi 取向⚛比较接近，*️⃣🇭🇺工程和创👩🎨🇸🇦新性都🎞💁♂️做得比较极🏪☣限，比如大 🚆😹MoE、低激📻活、长上下文和🥍🧨极致成本优化👹📚。你们怎么理解🇧🇪 V4🕓🔊 的整体架构思🏃🚰路？ 赵晨阳：V🤦♂️🈶4 整体保🌽留了 D🎨eepSee😩kMoE🧽 框架和 🏭🤪MTP （Mu💀lti🇬🇮-Token P⛲red🇱🇨🐠iction🎨🇳🇷，即 “🌊多 t🦹♀️🚥oken 预测😒🚬”，允许👴模型一次性预🧾测多个 To🧛♂️🐎ken）策略，🍊但在四个层🗒🤩面做了改🌔🇬🇹造：注意力，🚻㊙用了混合🇨🇭稀疏注意力；🇬🇮💒残差，使用了 m🍔👩👧👦HC；优化🌂器，在这么大的模🗻型规模上使用了🇸🇴🥥 Muon；以🤲及 infra 🤧的变化，其💇♂️🕠中两个关键词😈是 TileL🔧🧰ang 和 FP🙉4🥐🛩。
刘益枫🧛♀️✨：不过🖐，也有用户反映🚷🤕，V4 在解决🍍🇭🇹同一个问题时，t⤴oken📶 消耗🚓✉纳网域名注册比之前要大💚了📻🇺🇲。微软表示，🏮👯这个数字仍有提🇲🇲升空间，未🍃😨来还会继续优化👹◀。相比 V💁♂️🇮🇩3 的 MLA，📰👨💻它是一种 🌕👝toke🖖🏫n-wise（词👨💁元级）🐘的压缩机制，✔💡通过混合使用🗞🚭 CSA🚋 和 HCA 🤢实现 4:1 🧫甚至 128:1🧻 的大尺度😃📜压缩🥄📤。
