（来源：上观新闻）
（注：🥅🍏预填充，Pr🇱🇮🐛efill，指💹在推理的初始🇮🇹🤥阶段，模型一次性🏮并行处🎹理用户输入的💵整段 🐸🏵prompt，计🐷♒算并生成已💘知文本的 🤤KV 缓存，快速😋吃透内容🌆🦜。你们怎么理解 V🦷4 的整体架构📦思路？ 赵🇦🇹🇦🇶晨阳：V4 整🥬🇱🇧体保留了 Dee🇪🇹pSeek💈💥MoE 框🎨😧架和 MTP🍳🏊♀️ （M⚡🇿🇲ulti-To🕓ken Pred🥴ccrc认证大概多少钱iction，🚟即 “多🔣👰 toke🙆♂️♎n 预测”，🌤允许模型一🇵🇰次性预测多个🧘♂️🅰 Token）策⏱略，但在🏏四个层面做了改造📰：注意力，用了🐆🧛♀️混合稀疏注⛹️♀️🇮🇴意力；残差👒*️⃣ccrc认证大概多少钱，使用🧽🇭🇷了 mHC；⏬ccrc认证大概多少钱优化器，〽在这么大💢的模型规模上使2️⃣用了 Muon🌻🙇；以及 😼🚼inf🥂ra 的变化，👨🔬其中两个关键词☺是 TileL☪ang 🥼🇻🇮和 FP4🔣。
之后再用🈹🌑 block-⛩wise➗ 的 sc🚄ale 🚟poi🚪nts（缩放系数▶🕠点，用来校😋💔准量化范围🏊♀️🆒）兜住离群点（数🛶值异常偏大的参👡🚺数或激活），🚷让模型提前适应低🦝精度损🔃失🏵📣。那这不仅是偏激🇰🇾🇧🇼和错误的，也🛶💽是危险🥩🚸的——🤶它会制造🛴一种新的👋虚无主义，💠让人觉得"反⏫正我不如0️⃣👨🦳算法，那就不🚳♨如自暴自👹弃"🍚。
