（来源：上观新闻）
） RL 🇳🇪侧，1.6T 🏴♓MoE 🧑全参数训练对🐞系统要求很高🏍。如果不具备行业经🎴🐄验，你制作的东西👨🔧🔧将难以被他🚏🧟♂️人接受🤯。自己过往的工📿🦂作经验〰和积累，是自己🍦🚯求职的优🎻势所在🔸。但今天🤮🎅新闻上说某个地🥌区因干旱导致数🇦🇿🍈万人陷入粮食➕危机，🇻🇬📼你可能只🇱🇦是轻叹一口气，💍划走继续看下🔉🏥一条👯。
一位是开💸源推理框🛥🇸🇩架 S🈷🇷🇼GLang 🇦🇿🛄核心开发者赵🥌晨阳，他👼是 Inf🥡ra 背🇨🇮景，目前🏜已加入🔶🇬🇾 SGLang 🚮🇲🇺背后的商用创业🐓公司 RaⓂ👩🔬dixAr🌭k AI🦘🌝。如果只是🚗几千 Tok🇵🇹en 的输入🦃🏐输出，效率提🥠🌫升并不显著🌗🇯🇪。你们怎🖍么理解 V4 的🇰🇼整体架构♉🛋思路？ 赵晨阳🍦🕌：V4🥺 整体保留了🌎🤹♂️ DeepSe🇦🇪↔ekM🌊oE 框架和 🔽MTP🥽⏩ （M💖ult🛴i-Token 🙇Predicti🍤on，🐏🇵🇫即 “多 ☔🏀toke❇n 预测”🇧🇭🕐，允许模型👇✝一次性预测🤵🦎多个 Toke↪🍵n）策略，但在四🇵🇷🇩🇲个层面做了改☂造：注意力🐑🤕，用了混合稀5️⃣疏注意👩🎤🤫力；残差，🔃🥞使用了📣🥊 mH☯C；优化器，在这♾️么大的模型👨❤️💋👨🇪🇪规模上使用了🎎 Muon；以及📔🏢 infra 的🌇🌽变化，🏃其中两个关键词🎳是 Til🆒➖eLang⏭👨❤️💋👨自建网站 和 FP4🐪。
能否先简单👻🇧🇹解释一下，优化👨🔬器在大模型训📬练里起什🏄♀️么作用？Mu🇽🇰📖on 相🐀🇧🇿比 Adam🇬🇶🇰🇿W 的核💹心优势是什么🦋👑自建网站？ 刘益枫：一般💁深度学习网络的⚒➗训练过☸👍程，就是让模🕺🛢型通过损失函数的🎏🍨梯度下降信号不断📝更新权重，当权🇨🇾🌹重更新到一个状态🛣😚，模型能稳定👨⚕️达成设🤪🇩🇴计目标了（比如🇸🇪预测）👛🐱，就是🛋训完了🇺🇳，得到了🌳💃稳定的2️⃣🙃权重🦠🧷。
