（来源：上观新闻）
蒸馏的话，💔♦之前 Dee⛺pSeek-V3⏪ 和 😰R1 🛃❇都实践过👼，但 V4 是先🍇训练一些小专家，👛再把这些专家学到💿的技能蒸馏出✴🎐来，节省参数量🦠🇫🇮。不同用户对于这🧘♀️🍺种状态的毁⤴誉程度不同，🅾🇵🇾要打破信息茧房其🇬🇲实不难🇺🇿，可以用🇹🇨户自行🏟搜索关键词，👼⏯来获得茧🇿🇼房外信息，💯💫亦可通过平台0️⃣方设定‘按钮’来✌😵满足用户多样🐊✉化需求🥭🖇。
你发了📀一条朋友圈，📪🇬🇳五分钟后有人点🐓赞，大脑分泌➡🌿多巴胺🥤🚴。拉动其🛑业绩增长的是😓数据中心C⏲🗽W（连续波）💨👩🔧光源产品🦀。另外一🧮个创新是在前几🗞层 MoE 🇱🇰中用了哈🍄💫希路由，来分配🇮🇲 token 到👀各专家，从算📡法上避免前几层🔥专家路由高度🇲🇦集中的问🔣题⛔。
这里有一个🇨🇴🧑悖论：🎇AI时代反而让长🕖👂期主义🇮🇩变得更难，而🇹🇻长期主义🗨恰恰是🚇人类对🦄抗AI的少数真🍑🧱实优势之▶一🧑。就像模型厂商🤞会发技♾️术报告，大家🌴彼此借😪鉴，但也存在竞争🔩。Muon ☁✏的优势🔷是砍掉🙋🇳🇱了二阶动量🇻🇳💧，op💁♂️🇧🇶timize😄r sta👜te （优化器在🌎更新权重时需要📮持续记录的内🚲部历史数据）👃🔸从两倍降🕟🤸♂️到一倍，能🇷🇼节省相🤓当多显存➿🏃。
