（来源：上观新闻）
但问题在于，这👚💪些动作更多是📋👨👨👧被动跟随，而🦀不是主动求变，如🔦✊果西门子不能拿出🇵🇼真正具有颠覆🥾性的技术或场⛷🔜景创新👩⚕️🆎，昔日的↖红利总有一🕦天会吃完🥫🛡。AI只是目🈷🇬🇳前最强大的🆎🐋一种🈵🌽。
Qwen🐎🏈 在 post-😠trainin🐏g 阶段提过 🇵🇪🔒multi🎡😬-stag📼e（多🎎🧘♀️阶段训练或👕🍤聚合）的专家🥦聚合，学术界🙃🇫🇴也一直🏃♀️🦚有模型聚合、模型🙃🔣 Spawn🤑↩（从已🌝有模型派生或扩展🤞🏐新模型）这类🦍技术😻🌮。
你们怎么理🇪🇬解 V4 🔩🍤的整体架构思路？🍹🧱 赵晨🍖☮阳：V4 整体保🇦🇪留了 💑💢DeepSe👟🦖ekMoE 框架🇵🇦和 MTP （M🅾🍾ulti🚚🐥-Token🇧🇿🚂 Predi📎🤾♂️ction，即 🧳🕜“多 toke‼🎿n 预测”，🕶允许模型一次👎🧗♀️性预测多个 T🎏🚗oke🔊🎰n）策略，但🌈💱在四个层面♏做了改造：注🍯🇦🇶意力，用👨👩👧👦💢了混合稀疏注意力🥇🤡；残差，使用了🐞🥢 mHC；优化🇽🇰🌬器，在这么大的🦡模型规模上🏤🖖使用了 Muon🍉；以及 inf🇬🇲ra 的📪变化，🚽🙃其中两👩👩👦👦🕺个关键词是 Ti🇴🇲leL🔨🦝ang 和☄🏃 FP4🎚🐫。
