（来源：上观新闻）
一位科🔲技公众号作者曾💕在文章中🕘🤮这样感叹：“😸🤤人有点麻了🥎🇸🇱，这一周发了7、🧧🚃8个新🖨🚖模型，最近24😦👩⚕️小时就发了4个，↙🌗昨天下💆午刚开始测M🇷🇺iMo🗑🇲🇰，然后H📫🧓Y3发🥖🦞了，刚写🇦🇬完MiMo，然后🐨GPT-5.5🐩发了，今天刚发🤸♀️🇧🇫完Mi🍿MO🎨🇹🇩。理论上，你可以🚱💥把整个项目的相关🇬🇪🇦🇴代码文件、数🦖据库 schem2️⃣🇲🇰a、甚至🎎👳部分业务文档一次🇨🇾性塞进⭐上下文⛰。
你们怎么理解 V🤷♂️🇪🇦4 的整体架💿构思路？ 赵晨阳🇯🇵：V4🔰🇻🇺 整体保⏫🛥留了 🔠DeepS🦗➰eekMoE 框🇭🇳🇰🇷架和 M🇷🇺🇹🇴TP （Mul🚲ti-Token📵 Predic🦚tion⬜，即 “多 to🌱ken🤴🇻🇺 预测”，允🔖许模型一次性预⛑测多个 T🇽🇰🕳oken）策略，🈺🙋但在四个层♍面做了改造💭：注意力，用🐥🍕了混合*️⃣稀疏注意🛁力；残差，使用了📍 mHC；优化⛓🍥器，在这么🇪🇨大的模型规模🦅👩🚒上使用了 🚝💔Muon；🆑👁️🗨️以及 infr♐📜a 的变化👨🏫😡，其中两个关键🐵词是 Ti👩👧👦leLang📉 和 ⚰💞FP4🙊🇸🇿。
