（来源：上观新闻）
你们怎么理🚻🗃解 V4 🇨🇨的整体架构🐦😡思路？⏯🦓 赵晨阳：V4🥥 整体保留了🧺 Dee⤴🚳pSeekM🍓📼oE 框🧝♀️🔻架和 M🚁📫TP （Mult😣i-Tok✈en 🧠Predict❇🇵🇹ion，即 “🧼🌼多 toke🏙n 预✡😡测”，允🇵🇱↔许模型一次性预测🌵🈴多个 Toke🎺n）策🍇🙌略，但在四个🦠层面做了改♟️造：注意力，用🤙🌆了混合🇬🇪稀疏注意力；残⛸差，使🤴用了 mH🇺🇾C；优化🛐🇪🇪器，在这么📥🇧🇳大的模型规模😑🇮🇷上使用了 M⚒🙀uon；以及 👨👦🌼infra❇ 的变化，其ℹ📼中两个关键🛴词是 👠🦒Tile🔶泛目录泛域名Lang🎯 和 FP4🥎。
与此同时，🥀京喜宣布2026🙍年继续投入超1🧟♂️🔉00亿元🦹♀️推进“厂货🧂百补”✖🏸，启动“爆品双🇻🇦🇳🇨千万计🇳🇱划”，🤼♂️目标打👭造1000个👘🈹千万级单品🕍🇺🇲。作为追觅科技创始🧩人，俞🍡🦗浩在网络上颇具👋影响力，妥妥💁的网络名人👫🍁。和训练相🦌比，推理对响应速🏑🎑度要求更高🇺🇸🏉。经济学家、🈁🇧🇹认知心理学家⏳赫伯特👯·西蒙（He🤣rbert 🍉🌰Simo☮n）在上世👖纪五十年代在🔍✋《管理行为》（🏖Adm⚙inist🚓rative B🇩🇴ehavi🤦♀️🍰or）（以及随💑后的相关🍞研究）中提🎗💵出了“有限⚫🐕理性”（🐕♣Boun🥤🙀ded 👩🔬Rationa👩🚒lity⏯泛目录泛域名）的概念🇳🇺🔃。
但至少🌒❎说明了一件事，敢💎🐱于发声还🌱🇰🇭是很重🐱🏋️♀️要的🍑🍨。而后训练的 in🧬fra 结构更复🍢杂，可能单🤨机装不下🗃，所以后训练适配🙂 Muon 会带😮👩👧来更多结构修改🇧🇳。基座基本👨👦🇵🇳都是 MLA⚔🇺🇬，优化器也类⛹🌉泛目录泛域名似，之前⛄大家用 Ada🎃🥟mW 或🕸者 AMSGr😒ad（A🐣dam 👨👦的一个🍃变体，通过保留🍾历史二阶♒🇵🇷矩估计的逐元素🏃♀️最大值🇨🇺🌛，限制自适应学习🇧🇳🤩率波动，从🇲🇷而改善收敛稳定🌥性），现在陆续🦅🍤转向 Muon👡😌 或基🧭于 M🎄⏳uon 微调🚂⚽。
