（来源：上观新闻）
多家AI公司被🌁🎯怀疑对GPT系🌾🇦🇺列进行过不同🕐🔴程度的蒸馏🌒，但没⛏📖有人把这个问🔃◾题推到需要法律裁🐻定的地步🔦🇻🇳。所以 D🍉eep🖌Seek 的方🍄法是，让模📨🇱🇾型先把关键对象框🇹🇦出来，🇺🇬🇬🇵再根据这些🙎🇽🇰具体对象进🍈行多步🎈推理🧞♂️😦。这时如果继续📸🐣保留 MLA，🈯🤦♂️再叠加这🥓些压缩，实现起来❔✡会相当复杂👯♂️👩🌾。OpenAI🥓🐼的律师走到证人席🐘🇸🇴前，向马斯🈲🚁克抛出了一个直白🖕⛩的问题：xAI🧩🈯是否曾对🥽Open📍AI的模型进🐪行"蒸馏"🇳🇦，用来🛑训练自🦅家的Grok？ ✍马斯克的第💵🇰🇳一反应🏛🔡是转移焦点——⏹"这是🇨🇩所有AI🎰公司都会做的行🏳🐡业惯例🖱。
你们怎么🐽🕟理解 V🌁🧒4 的整体🎉♐架构思路？ 赵晨🏴♦阳：V4 整体保👩⚕️留了 👩🎨🍥DeepSee🧶kMoE 框架◀🇸🇲和 MTP 😜⏪（Mu⛑🇺🇿lti-To🏃ken Pre👩👩👦👦👢dic📕🙍♂️tion，即🦅 “多🇲🇾🇳🇴 token 🐚预测”🤒，允许模型一次性🏴🕓预测多个 T🌆◻oken）策◽🏦sem扫描电镜图片怎么分析略，但在四👱♀️📋个层面做了改🗣造：注意力，🚊用了混合稀🤘疏注意力；残差🇯🇪🧡，使用了 ⚛mHC；优化器🍳，在这🌿么大的模型规模上☺使用了 💛🇫🇯Muon👨👨👦👦🤕；以及 🏠infra 的变🌶🧤化，其中两个关键🎚♍词是 Tile💸🥡Lang 和🤕👎 FP4🐛。
