（来源：上观新闻）
训练时把优🇨🇷👨👩👦👦化器换成 Muo💊n（矩阵👨🍳🍘级别优化器 ，🧟♀️能对整个参数🇦🇼矩阵进行〽正交化🤙🖥处理），训↗🎆练精度推进到 ⛔⁉FP4，进一步压💲缩显存和📿🔩带宽；🔬推理时引✒入 DSA🕟🎦（DeepSee⛲🚞k 稀疏注意力）🤺、DeepEP🍝🇸🇦（Deep💻🇨🇩Seek🚃🗓 通信效率🏠🇧🇭的底层🇬🇭基础设施库🙏）、Mega 🎁MoE 这一整🐅套 Infra🚯。
Qwen 在 p🍇🔦ost-tr🔐ain🍶🗜ing 阶段🐫💷提过 mu🎶lti-stag🇸🇳🇳🇵e（多💦🆗阶段训练或聚合🤼♀️）的专家聚合🛁😖，学术界也一直🤚有模型聚📴🛃合、模型 Sp🇦🇱🕕awn（从已有模💹型派生或扩展🏺🏒新模型）这类技⬇🌆术🇱🇷🧪。
