（来源：上观新闻）
之后再用 blo🥜🥳ck-wi🇲🇾se 的 s👨🏭🎲cale ✡points（🧛♂️缩放系数点，用来♓😭校准量⛑化范围）🌽🧦兜住离群点（数📥值异常偏大的🎞🐤参数或激活），让🌈🧴模型提前适应✉💜国内比较好的saas平台低精度🔁🍏损失🏸。
你们怎么理解 👬V4 的🏑🙆整体架构思🦍💟路？ 赵晨阳：👨⚖️V4 整体保留🔼📮了 Dee🏈pSeekMoE🐇⛈ 框架和 MTP🍍 （Multi🍮-To🦷👩👩👧👧ken Pred🐷iction，☑🚹即 “多🍕 tok🔩🗂en 预💻测”，允许模🔥型一次📆性预测多🇮🇨🇲🇸个 Tok🌖🇹🇳en）策略，✋但在四个🇷🇪层面做了改造🥄👭：注意🧲🛁力，用了💤♌混合稀疏🔩注意力；残差，使🥟用了 m🔴HC；优☣化器，在🌚这么大😘的模型规模上使💌用了 Muon🗻；以及 infr🇨🇲a 的变化，🤗↩其中两个关键词⬅是 Til🌭🇽🇰eLa🚞ng 👩⚕️🇮🇩和 FP4🧸。
更多技术讨论，可6️⃣联系两位播🌱🚪客嘉进一步交🍳流： 赵🍙🍹晨阳（wecha🤘🐤t：Love🇭🇳DeathAn👨❤️💋👨🥓dLLM）、⬜🇺🇾刘益枫（wec🇲🇻hat：l🇫🇮😒auyikfu🐉💫ng2🌋🙇♀️0） 题图来源➰：Pink⚛💋Panthe🥚🗽ress-Ro🐚🇳🇮meo🏍。
