（来源：上观新闻）
你们怎么理解 V📨🇩🇪4 的整体架构🦴👢思路？ 赵晨👨♨阳：V4 整体保🔤🇰🇳留了 Dee🐬👨⚖️pSee😠kMoE7️⃣ 框架和 🛸MTP🇷🇸 （Multi💮-Tok🧢en 🈶Pred🍎🏌️♀️icti🍼📵on，🇦🇴即 “多 to🖲👞ken 预✔测”，允许模🐈🥮型一次🚖😎性预测多个 T🇨🇼🌐oken🍇💸）策略🏓，但在⚖🇳🇱四个层面做了改造🇲🇻：注意力，用了🇳🇮👩👧混合稀疏👼注意力；残差，使🥳🗝用了 mHC；优🇲🇸🚇化器，在这4️⃣🛣么大的模👍型规模上使用👩❤️💋👩了 Muon；以👸及 infra ✋的变化，🔒其中两个关键词🎧是 Tile😒Lang🇷🇺 和 FP🇳🇮🧼4🇮🇶◽。
另外，预训练🇪🇦📄和后训练的👯♂️🥟优化器基本🦑要保持一🥀🏟致🧟♂️。比如，🏓拓维信息（⏏🐕002261.S🤵Z）是华为在鲲😿鹏、昇腾🇩🇪🇵🇭、海思、鸿蒙领🇲🇷🇭🇰域的全方位♓战略合作伙🚑🏑伴，主营业务包括♉🔄基于昇🍢腾平台🎈的AI服务器制👩🎓⚒造和行业软件🌄🧸开发🍃。
对于AI🧬🐚带来的“求❄职焦虑”，上海🇦🇱⛑财经大学♎📜副教授崔🛠万云告诉🕦🕶《科创板日报》记🚲者，不必对此过度👨👨👧👧😝焦虑，始终要认清©AI是一↖🚸个工具，重🚝要的是如何使用它👨🦰🇲🇪。华为昇腾CANN🏓已基于A🛩🗜3超节点完成🍜👨🦰V4-Fl👓🚒ash的续训练😊（即在已有模型基🤮础上用新数据继☪续训练）适配，并🏺在开源社🙁区提供了训练🇬🇸🍧参考实现😺。
