（来源：上观新闻）
下面摘录💞了其中一🥣次针对乘法🐼🍼器单元设🇧🇫计的审查内容👩⚕️。V4的做🚬法是tea📉🐼cher权重o🍦📪ffl👜oad⛄到分布式存储按🥦👮需加载，只缓🕹🧙♂️存hid🇵🇲📰den sta🚑🎱tes不m🇬🇲ateria🔝lize 🤬🗒logits，按Ⓜteach🤧er排序样本保🇮🇪👚证每个mini⏺-batch只加🕧🙏geo优化载一个t🇲🇫🎽eacher 🏃head🔂👨🏭。他们随机抽取🍠了200道题目，🇧🇹🏴让AI多次尝试每🥞☑道题，用实际答🔶对率作为"真实⏺难度"的衡量标准🐆👷♀️，再与🔏价值模型的预测🇪🇨值做对比🥡。
第一步是"🇧🇯📅出错模式分🌵析"©🌛。DC 对许🇦🇮🤦♂️多测试程🖊🎣序都进行了此操作🇱🇸，包括🍸 MD5 测🔃🍞试以及最终的📊🐻 Co🥼🥪reMark 😙🥅测试♉。一些细节微调包🙇♀️括，af👩👧🥯finity 🍅🏴scor🧠e的激活函🔮🕉数从Sigm🌮oid换成了👓Sqrt(Sof🇧🇻tplus(🤐🇬🇾·))，去掉了r🤦♂️🎏outin💮🧤g tar🐯get nod🏪es的数量🧸💜约束，前几层d↘ense FFN🈳📍换成了🎉🤯用Hash ro9️⃣uting🦂的MoE层📐👝。
