（来源：上观新闻）
赵晨阳：这确实没🇺🇬有定论🔍。4月22日，美国🚵🦇华盛顿🇨🇦特区，卢特尼🏯☄克出席参议院听证🛥🛏会🥭🇦🇨。但它在动量♨上跑完🇲🇱🌓牛顿-舒尔↩茨迭代后，还🦒要做正交化🦑⏭。小雷哔🇲🇩🔦哔（ID：xia🧫🚮ole🕟🤾♀️ibbb）当🧼时刷到🌄这个视频的时候，🔢♑第一反应是🏄♀️有点懵🛁💋。
你们怎🌆么理解 V4🥕 的整体🎃🗽架构思路？ 📪🌲赵晨阳：V4 整🚬🤙体保留了 🌱DeepSee🇹🇨kMoE 框架和🇲🇬 MTP （M🕷🗨ulti-T🎗oken 🇮🇶🇧🇿Pre🇸🇮👒dictio😔👩✈️n，即 “🖼🎷多 token 🇺🇳预测”🤐🤫，允许模型一次性🌑预测多个 🦃🍵Tok🚊en）策略，但🚨在四个层面做了🔭改造：🔡注意力🇳🇿，用了混合稀疏😸🚴♀️注意力；👨👨👧👧💺残差，使🇹🇳用了 mHC🕣；优化器，👡📨在这么大的模🥜型规模上🍄🍊使用了 M♍uon；以及 i♦🏛nfra🧛♀️ 的变化🈲，其中两👩🔬个关键词👂是 Til🔠eLang👨🏭☘ 和 ❔🤽♀️FP4😒。
重构模块有了🧁🐌 spe🌲🇧🇶c、AI 按 s😐pec 🇧🇭👏生成了🇱🇨🇧🇷干净的🇬🇧🇮🇩新代码，但它🌀仍要和🇹🇳😽老模块交互——🎰老模块没⌚有 spec，🐉接口不🇨🇮规整，状态🤔📒转换的隐😎性条件藏在🐻旧代码里🦅。
