（来源：上观新闻）
你们怎么理解🧪🧮 V4 👑的整体架构思路📬？ 赵晨阳：🇸🇹🌚V4 整体保留😮了 DeepSe👙ekMoE 🚑🦹♂️框架和 MT🍈🔦P （Multi🈵🏊♀️-Token P👿redict🥟👙ion，即 “多📓🔫 toke⚰🗼n 预测”，允👁️🗨️🔎许模型一次性预测🇲🇲🇺🇳多个 🇾🇪Token）策略🇰🇪，但在四个层面做🥁🕷了改造：注意🙆力，用了混👨🔧合稀疏注意🇮🇶力；残差，使📅用了 m🈺🍤HC；优化器，🔃在这么大的模型🎫😓规模上使用了 🏟Muon💘；以及 🇨🇴😥inf🛫ra 的🈷变化，其中两个关🇪🇷🇧🇾键词是 Til⛷eLang🍖📍 和 FP4⚜。
INT4 和📞 FP4 不💅🥙完全一样，但也属🧮🦇于激进🛰🛢压缩方案🦢🥍。采样阶段😉🕋则做真🏎实 F🌻P4 量化⏰，把 FP4 🧙♂️🕖权重真2️⃣👙正用于采样，✈降低访存瓶颈，🇭🇰🦟实现物🐸🇱🇾百度竞价推广理提速🎩。
2025年度🇸🇹，该公司实🇪🇸🥋现营收279.2🎢⚠1亿元，🧙♀️⚛同比增长16🇬🇶.92🏥%，其中先进🧨封装收入占比约🤦♀️🎛70%；归母净😬利润为12.1⏲9亿元，同👭🇻🇺比增长⛱79.8⤴6%🇲🇭👨🍳。
