（来源：上观新闻）
在这一历史节点上🆑🇧🇭，重新🕕🥽新站做泛目录审视人类伟大🙅📟思想体系形成的🥇历史条件与内在逻⏪辑，进而🧒探索AI时代🌹🦚所需要🇨🇻👼的新思想认知框架👨⚖️🔎，是时代赋☄予思想者的紧迫🕑使命🔥🛴。在能力上🧱新站做泛目录，Agent👸 是开源和闭源🇭🇺模型共同重视的👨👨👦👦方向🧳。马斯克称，🥤🌿当时奥尔特曼保🇹🇹证会继续履行使🌩💚命，所以♉自己才没有提🛷起诉讼💊🚙。而 V4 放弃 🇺🇳👩👩👦MLA、重回 M⛰💏QA（♑注：多查询注意力👛🇬🇭 Multi🧕-Query 🇧🇶🇧🇦Att⛔enti🤘on，是相比原📛始注意力更低显存👩🏭🇸🇱占用和更📽低推理带🆑🍘宽的一💷🐣种改进），这说👩🎤明模型架构还有👩🚒很大改进🇸🇦🇰🇲空间0️⃣。
GitH🛶ub 的🇯🇵 sp🏇🚤ec-ki🇸🇹🇵🇸t 把这一套拆🍳成了“写👩👧👧规格—出方案🤬—拆任🉐务”三步，👩🦰🥑整个过程规格文💂新站做泛目录件跟着代码🕐⚖一起版本🐥🚔化🐚🤘。赵晨阳：我之🔩📬前在 Am🎦azo🇧🇧🚽n AGI SF🐦🇲🇩 Lab 实习👲过，也🐖和益枫🙎👩💻在字节 Seed✊ 实习过🎨新站做泛目录。你们怎🚎么理解 V4 的🌺✌新站做泛目录整体架构思🍂路？ 赵晨阳：V〰🧭4 整体🍼🇹🇷保留了 Deep🇹🇳🕍See🔤kMoE 框架🌹😬和 MTP📆 （Multi-🔂🔔Toke💷n Pr🌓edictio🚼n，即 “多 👫🦍token 预测🇲🇼🥈”，允许模型🤴一次性🌏🛩预测多个 T🥭oken🇭🇳）策略，但在🎲四个层面👨👨👧👦做了改造：💇注意力，用了混🇬🇦合稀疏注意👨🇨🇵力；残🇳🇦🦏差，使用⛲了 m🦹♂️🏃♀️HC；优化器，👏💨在这么大的模型规📝👩🔧模上使用了 🛶Muon；🚜以及 infra🤽♂️🍗 的变化，其👩🏭中两个🗼关键词是 Ti👋👿新站做泛目录leLa🇵🇪ng 和 F🛁P40️⃣。
