（来源：上观新闻）
传统技♋🇭🇲术债有🧗♀️纸面记📖录可追溯，A❇I 上🆓🚻下文负债出问👌⏏题之前无从察觉🔷🗾。年报也在风险🚲提示中强👐调，“公司🇬🇸对华为的依赖程4️⃣⌛度较高”🧕。V4 报告里一次🧟♀️性把混合🍩🇺🇬稀疏注意力、👏🍅mHC、Muon🌫🇧🇿、FP4😞、TileLan🖖g 这么👼多事情全部换🧁掉并跑通🍛🇸🇨，这种⛅🚟决心和执行力🦘很罕见🥟。但开源模型在这方📋🌎面还没🙅‼做到这么🇺🇦好🧂🇧🇱。
六种并🈹💇行策略（DP、🏒🗂TP、SP、EP🇮🇩🇰🇭、PP、C🦒🃏P）的正确性🔸📷、训练与推理的🥩🙂一致性、inde🏀xer🦹♀️ repl🍼🍳ay、FP8/🚈🌹BF16 混🥽👨💼合采样👪——任🤞何一环出错🕝，奖励曲线就⛄起不来🦵。
但这里有一🛬个关键的转折🌉🖲。Moonli👨👨👦🥛ght 的重要贡🇿🇼献是把这个🇺🇿🇬🇶比例基本确定🥺为 0.2💓，这样使🛐用者只需设置一🎳🥬个学习率超参🥪🐧数就能适💇♂️配整个模型✡。业界之前也🏧有类似尝🏇👬试🚉泛站群。丹尼尔⛵·卡尼🦜🍩曼（Dan🧑iel Kah🤹♀️⛵neman）在《🐚1️⃣思考，快与♈慢》（T🇱🇹hinking,🌲 Fast a🔁nd Slo🤥🇩🇴w）中指📌出：专家直觉之🤪🇧🇻所以可🐎靠，是🥤因为它是在“高质🛀量反馈环🅿📝境”中🇧🇳🐒被长期校⏮👩👩👧正的🖌。
