（来源：上观新闻）
你们怎么🧤🏡理解 V4 的🇫🇯整体架构思路🎑🧓？ 赵晨阳：V4🛁🈶 整体保☠留了 DeepS⛎eekMoE 框🤤架和 M😿🍔TP 🥜👨🎓（Mu💰lti-🚆🚣♀️Token P🇬🇾🤾♀️red🥩iction🎤🚙，即 “多🇬🇭😬 token ✌🌷预测”，允许♋模型一次⚫性预测多个🐣 Tok🐤en）策略，但在🎭🇧🇬四个层🇸🇿🙍面做了改造🐥❕：注意力，用了😄🇩🇰混合稀疏注😖意力；残差，使👩⚕️用了 m🐁HC；优化器，🇰🇵🇧🇧在这么大的🏌️♀️🎹模型规模上使🅿用了 M🔝🤽♂️uon；🗝以及 in♉💂fra🔳😁 的变化，其🦕中两个关键词是👞 Tile🔄Lang 和🔚 FP4💙。
同时发布的有🐫两个版本⛈🖊：V4-Pro 📋🔷总参数 1.6 🇲🇴万亿、激活🇲🇦 490 🎻💀亿；V4🔩🍚-Flas🇲🇫🇦🇱h 总参🌾🇫🇮数 2840 亿🇨🇽、激活 130🇨🇼🤥 亿；二👝者均支持 10☔😡0 万 2️⃣🇫🇲token 上👩✈️下文窗🚫口👩👩👦。过去几🐢年，中国家🤖👨❤️💋👨电市场早🎒👨💻已进入存🇺🇿量竞争，尤其冰箱🛐💋已经是一个十分🔸😘成熟的品类，它🚹的市场已经足够🐟饱和，并呈现出U💻🇹🇫型分化格局😔🤽♀️： 高端市场靠品🎨牌和技👩👧😟术筑墙，低端市场🔮则把价格卷到🦑🚣♀️极致，一个🛴🔞负责挣利润🐗🌽，一个👩🏫负责攻🇧🇧🗄市场，成为品👨🚀牌发展的“两翼🦃🍭”；反😱🛌而是4-8Ⓜ🥌千元的中端市场份📲额，出现🇵🇦显著收缩🚉。自动化这🇲🇦🐘类任务🇮🇱👨🦲，要求机🏙器人同时具♈备速度、精🎎细力控和🎢对不规则形状🎬🛩的泛化能力，而这👻恰恰是传统工💑🐧业机器人的短板🇩🇴。
