（来源：上观新闻）
赵晨阳：我最👣💞近做语音生🚘◀成模型，也发现🇨🇺🛬开源模型相比💈🇮🇱 GPT-4o 🚵♀️🇨🇩那个时代的模🍋型仍有🧮🕠不少差距😛🆔。“至少10年，🇺🇦🚐甚至15至2🇹🇹0年，💥♏才可能达到💐🐭如今地面数🏉据中心的普及程🤜度🍋。自此，西门子🔕彻底退出家电领💺域，仅保留📠西门子家🇰🇳电品牌⛎。“最无力的时🐊刻，其实🍕是创业早期那种🏝📨‘看不到回响’🥛的状态🔳。所以我们设计了 🇧🇴📹Sha🚤dowRad👁️🗨️🇲🇻ix 来应对🏉🇳🇦——三🏎👩🦱个异构 KV⛎🐥 池（S🇼🇫WA / C☂4 / C12🕸8）加两个➰压缩状态池，要🦞🇧🇸在预填充、解🛂码、投机解码🕟三个阶段保持同步🛥。
吴浩拥有清8️⃣华大学的本👠😡科和博士学🦠👯♂️位，曾在🇹🇩🏁研究所从事💚💍前沿技术研究🇹🇰🏄。AI可以分🤾♂️🇲🇴析大量数据，🤭但它无法告诉你🌟🇨🇽什么是值得追求的🍡🐒、什么是不可👩👧👦书新版好还是旧版好接受的、什么💠🇰🇷在特定的人文情境🕳中具有重要性👋。你们怎么❕理解 V4 的💹整体架构🌋🍎思路？ 赵晨🇺🇲🇬🇺阳：V4🇭🇺👣 整体保留了👩🎨🇪🇭 DeepSee🇰🇭♑kMoE 框4️⃣架和 MTP （🕓Multi-To🇲🇦🧗♂️ken Pre🇧🇯❌dict👩👩👧👦👩👩👦ion，即🇹🇯 “多 t🕗🌡oken 预测🥈”，允许模型一次🇸🇹性预测多个🤢📿 To🌶ken）😋策略，但在四个🚍🇸🇽层面做了改造：📞⛵注意力🇦🇨0️⃣，用了混🇰🇾合稀疏注意力；🎾♌残差，使用了🇴🇲 mHC；🌭优化器，在这🇸🇱么大的☣模型规模上使用了🇸🇧🏳️🌈 Muon；以🎂及 i🍺🛄nfra 的变👹化，其中两®💒个关键🚦词是 Til🤛🤦♂️eLan➡g 和 FP🧓🇰🇪4🦐📆。
