（来源：上观新闻）
”刘思行说🙆♂️🧧。2025年，▶Moon㊗shot用M🍾uon⏱（加上他们🚥自己的QK-💷🌆Clip变种，合📚💛称Muon🏭🇧🇳Clip）训🙍♂️❄十大代运营公司排名了一个🛸🆓1T参数的MoE📼🇲🇰，15.5T👯🦐 to🦚🎯ken，全🇵🇰程零崩⬛👯溃🏃♀️。
未来方向几🤲🕖条，探索新维度🤷♂️✳的sparsit💻y（点名了Eng1️⃣ram那条线📃）、低♨延迟架⚖🤓构、长时6️⃣程多轮a💪🇬🇱gent🌨ic任🤶🛌务、多模态、更🇫🇲好的数据cur🥯🧨ati📝🙉on📇🐞。
模型一层一层堆💚，梯度沿着残差往🥣🈁回传，这🦂是深度学习能🇨🇳🇹🇹work的🏉♨前提👨🚀🙁。这种数据像“🍾🥓糖水”，好🎽喝但没营养🥣🧧。以最简💅💚单的 Easy 🇦🇹🇫🇰级别为例，PAN🤵☣DA 在区域比↔💂较任务上的准确🇬🇳🐔率达到了5🍮8%，而开🇨🇰🔸源的蒸馏专项模型🇸🇭 DepictQ🇰🇿💔A 只能在用🎣 PANDAS🇲🇫ET 额外训🇬🇶练后才达到🇳🇿🔧49%，如⏹果不额外👨👧训练则根本无法🎦完成这项任务👨🎓十大代运营公司排名。
