（来源：上观新闻）
美剧《西🛸部世界》（第一😀🇹🇳季）剧照🧩💦。这个部💫🆗分有什么🏜亮点吗？ 刘益🍜🇯🇪枫：一个亮📟点是预训☀练先分裂专家📬🎞，再做 o🍪n-poli🌘📪cy dist🎨🚵illation👃（在线策略蒸⏸馏，指🔂在当前模型实际🉑👣采样分🕛👽布上进行蒸馏，而🇹🇿不是只依赖离🔭☦线固定数⚰🏍据）👇🏢。但他偏📏偏选择了🇳🇱当时被视🇨🇦🈶为“小众”乃至🆖“伪需🤱求”的反无🖲人机🚇。
他指出👩✈️，人的🛑⚖认知是🇧🇳🍜有瓶颈的：💲⚛ 人类并非拥有🇾🇹上帝视角的“🔯经济人🇦🇪😚”，我🔫✒们的理性💰🤭受到信息不全、计🥊算能力🙎有限以及时🌤🇪🇦间的严🛍格限制🚿。赵晨阳🔳：我最近做语🏰🕳seo产品优化推广音生成模型，🎲🇸🇽也发现🏺👆开源模型相🦖👨👩👧👦比 G🚙PT-4o 那🦷个时代🐭🌊的模型仍🏟seo产品优化推广有不少差距☑🧀。DeepSe🕟🔴ek-V3 🖌是第一个把 FP⤴🧞♀️8 做到大🚳🚏规模模型上🍡的工作，到了 V🧡4，他们又🏄♀️🥃实现了⏩ FP4🆎➰seo产品优化推广。
能否先简单🇰🇵解释一下🥉，优化🙅器在大模型训练里🇨🇫起什么作用🙅📐？Muon🥺💛 相比 Ad🇿🇲amW 的核心🥠优势是😐什么？ 刘🇸🇧益枫：一般📸深度学习网🚴络的训📄🥫练过程，就是让模🇰🇼🕛型通过损失函🇨🇭数的梯度下降🏃🇨🇩信号不断更新📄🥥权重，当权重更🇬🇼新到一个状🏋️♀️态，模型能稳🤦♀️⤵定达成😨📹设计目⬜🔌标了（比如预🔶测），就是🇾🇪训完了，得🇦🇫♐到了稳🚀定的权重🔺🤩。
