（来源：上观新闻）
这一代模型⚖分为V4-🇩🇿🌽Pro（1.6万👥✉亿参数🤸♀️，490亿🛍激活）和V4-😲Fla🍨🚤sh（🎦🚒2840亿参数，🏋☪130亿激活）📩两个版本🔸🇳🇷，上下🍙🌥文处理🎺长度从🍊🇨🇭上一代🥤的128K🧑扩展至♓🇦🇿1M（约🇧🇲一百万字🔟🍣），在Agen➰t（智能💷体）能✔力、数学推⬜🧾理和代码生成🎙📆上均达到开源📵模型的最好☘🐬水平之一🧚♂️㊙seo职位。此外，DeepS❓eek 这次没🍩🤑有在 V4 上😲⛑应用 🕐Eng♋🖤ram（Deep🤖🎴Seek 2🌍026 年 1🕋🏎 月提出的条👨⚕️🐢件记忆技🇬🇹术）❕。
新代码加了个校🦍🚲验，老代码那边恰🇵🇭✡好依赖校验不存在🥞时的默认行为—♏—测试在 s👚pec 范围内全📈过，集成到一🛣起崩了🧿💪。晚点：如果 🧟♂️Dee👜🌶pSeek 🦵🙆♂️把官方推理👾🛢框架开源➖®，它和其🌁☣他开源🦒🇨🇺推理框架会是什🐘⛑么关系？ 赵💶晨阳：📡这涉及开🎾7️⃣源和闭源🛰推理框架的👴哲学区别🤓🌶。五角大楼📸🇦🇸的声明表示，这些🕷协议加速❎🏢了将美军转型为 👤AI 优🇸🇾♑先战斗力量的进程🙄。你们怎么理🎞🔠解 V4 的整🦚体架构思路？ 🇯🇵🇦🇿赵晨阳☠：V4 整体保🗻留了 De😈epSeekM⛩💰oE 框架和✍🇯🇵 MTP （🍊📇Multi-🥦👺Tok💣🇪🇬en Pre9️⃣dicti🍰on，即 “🔔多 t🤶oken 预测🛃”，允👩🚒许模型一次性预测👋多个 Toke4️⃣🇸🇱n）策略，但🍲在四个层面💋做了改造🎾🎎：注意力，用🇱🇦了混合稀🇦🇹🐗疏注意力🕕；残差，🐂seo职位使用了 mHC🇧🇯；优化器，🔄在这么大📙☕的模型规模上🔥👩🏭使用了 Muon🎢；以及 infr🥥a 的变化，其💇中两个关🇸🇩🐧键词是🥁👨🎓 Ti🇻🇨leLa🇳🇫🔸ng 和 🌋🌦FP4⛴。
