（来源：上观新闻）
半个月后，⬇罗永浩举办了Ⓜ“西门子🇨🇬冰箱门”🇺🇾♻事件交流会，🛍🇹🇫他指出，“✔西门子👫冰箱门框🦜下面预留了闭🇯🇲门器的安装孔，但🕯🎧中国市场🚰👩👩👦👦（销售❤🤲产品）却省了，这🛤只是成本5😴🥖-8块钱的小🚩🚞零件🇧🇯。紧随其后的是纯🙄🥩互联网（👨👨👧👦🚘11.81%）、🇷🇼新能源🖋汽车（1😤👁️🗨️1.62%）和通🇱🇾🥧信行业（11.5🍞👘0%），💘这些领🆒域对AI人📎🚾才的需求持续旺🥪🍎盛🐃🍟。
你们怎么🌫理解 🎱V4 的整体架🉑构思路？ 📫赵晨阳：V🖨🚶♀️4 整🎅📛体保留了 D🏖eepSeek🚡🗡MoE 框架🇲🇶🏳和 M🇵🇲TP 🇹🇹🇻🇦（Multi-T🏺oken Pr😮edic🇯🇪tio⛑🥚n，即 “⚰😕多 toke🐑😤n 预👾测”，🍏⛪允许模型☸一次性预测多个💮🔊 Token）🍫5️⃣策略，但💆在四个层面做了改🈲💤造：注意力，用🇪🇷了混合↗稀疏注意力；残🇬🇮差，使用了 m🌤🇹🇩HC；优化🇲🇿🎈器，在这🖇么大的模型🙊🥟规模上使用了🎮🇸🇰 Muon；以及💷 in🙆♂️🇵🇼fra 的变化🈯🇧🇭，其中两个关键🏴🔷词是 Tile🏛Lang 🔳🔆和 FP4🎉。
