（来源：上观新闻）
你们怎🐎🥞么理解 V4 😌🚝的整体架构思路？🎬 赵晨🌥💫阳：V4 整体保🗳🇮🇹留了 Deep🔛🐧See📹🤷♂️kMoE 框🕵️♀️👨💻架和 MTP 👇😎（Mu🕶😲lti🏴🕖-To🤤ken Pr😠ediction🇩🇬，即 “多 to🧶🧗♂️ken 😂预测”，允许模型🙌🛏一次性预测多🗃🕵个 Token）🏺🛅策略，但在四💷🤾♂️个层面☯做了改造：注意🧿🇧🇸力，用🎛🀄了混合稀🇹🇴🇲🇷疏注意力；残差🇺🇳，使用❌了 mHC；优化🇳🇷🦈器，在这么大的模🇾🇪型规模上使用了 🇬🇩Muo⌨🇸🇨n；以及🧙♂️🛥 infra🌾🔼 的变🌡化，其♑中两个🇾🇪📅关键词是 🇩🇿🔡TileLa🍷🏪ng 和 ⚫👩👩👦FP4🚽。
训练阶段，优化🚶🥝器维持 FP32🍥 主权重，🖌计算前先↪📌压缩到 FP☝✍4 范围，再无🚩损反量🏬化回 F🏞🇩🇿P8 计算👨👦。另一方面☝，基础模型在训🛣练过程中也会自🗾🇬🇸动学习🦸♀️🤽♀️ N-gram🚑🙆♂️（连续 N 🇻🇦👨👨👦个 t🤱oken 🎵♍组成的局部片段，📗可以理解成一🔎🍔些常见🏃♀️表达、固定搭配，🥅模型训练中会自🇪🇪然学到这些短程上😄🇺🇬下文） 能🔉🏙力，En🎯🗡gra🏴☠️🖇m en🇰🇿code🌓🇧🇦r 更多起到辅助🗳◾和信号加强作用📔↗。
） 此🇨🇩🧝♀️外，我们🍻🏏最近发的 H🏋😇iSpars🧶🕎e 把🗑🌃稀疏注意力的 🏤KV 卸🤶载到主机内存📉🖲，在长上下文场🈲景能拿到 ✈🕵5 倍吞吐🥫🈸。MoE 的👝核心价值就🚂是把这两个🐞🇻🇪量解耦，🦹♀️🈯而 V💷4 把这🇩🇲种解耦推到了目前🍬🚹业界最激进的🤧🐵位置🧝♀️🧱。为什么模👮型更新后，解决同👫📍seo产品优化推广一问题的🇵🇭🎤推理 toke😵🍑n 消耗反而变多🚮🎣了？ 赵晨阳：我🇬🇸之前在小红书🇹🇫发过一篇🇩🇿seo产品优化推广文章，说🤐现在的 t🛃🇳🇨oke🇸🇻🚫n 浪费有种🙊🍷 “拿高压🚨↙水枪浇花” 的美🧝♀️🇺🇦感🙄🏅。
