（来源：上观新闻）
纳德拉特别🍨强调微软🇲🇭🍏团队接下来😚的重心，优先😺聚焦提升🌋产品质量，🌀从而为🔜核心用户群体提供🛍更优秀的🧝♀️📶服务🛂。此外，微软还在🧝♂️🎰现代化🇮🇸改进的🇬🇸过程中😉👨❤️👨分析了🧘♀️☕用户数据，并决🗑定删除“🧺浏览”按钮📹。
这一判决不是👩✈️终裁，双方🕡可以提出上诉😥。你们怎么理🇧🇫解 V☕4 的整体🧯架构思路？ 赵晨🧹🗜阳：V4 整体保🗳留了 De🏍⛰epSee🚆🔜kMoE 框🐔💰架和 MTP 🇹🇿（Mu🐽lti-To🎞🦁ken Pred🌰ictio🎃n，即 “🏳️🌈多 token📿 预测”，允许模🗑型一次性预🚝🇩🇲测多个 To🙎♂️🔨ken）策略，但🕴🌨在四个层面🇸🇪🎻做了改造：注🌘意力，🐫用了混合稀疏🚪🍂注意力；残差，使👨⚕️🥺用了 mH🇳🇮🇭🇹C；优化器，👆在这么大的🐗🕖模型规模上使用🔺💆♂️了 Muo🇪🇷🦈n；以及 i🐒📮nfra🍷🌓 的变化，其🇨🇱🛒中两个关键词是👿⚖ TileLa🇲🇺ng 和 F👩🚀P4🔂⏲。
再往下会不🥘会有更激🇱🇾进的优化和压缩？⛪😖非常值得↙期待🛷。Muon 最开始😟1️⃣用的是🎦🐈牛顿-🐨🔱舒尔茨🤛🇻🇬五次迭代（👩⚖️一种用🏄♀️🇩🇲于矩阵🧒归一化或🚹求逆的数值🇮🇱迭代方法🏏），这是🍅🛸一个近似过程📓。
