（来源：上观新闻）
。所以公布这个🌍🇹🇩成本本身没太大意♠义🇽🇰。晚点：T🎡🇷🇺ileLan🌦😴g 最初是北大杨🦠😆智老师团队发🆒🏳起的，💻后来也有很🤹♀️多社区贡献🇿🇲。具体到 mHC 🥿或混合🇳🇨注意力，🍮🇼🇫未必会一直🐗以现在的方式✌。晚点：👨👦👦mHC🇬🇧 对推理框架❌🔻的影响是什么？ 👩👧👦赵晨阳：mH🎚🈚C 把🐝简单添👰🚩加残差☑🇫🇷这件事变👦成了一个👩💻🏟需要混合 🛶🇫🇷GEMM（通用矩👭🇦🇮阵乘法，深度学🇵🇭习中最核🍷🦠心、最密😎🇽🇰集的数学操🧖♀️⛴作）和 🐍Sinkhorn🐵🆑 归一化的复杂操🇯🇴🇱🇦作🇻🇦。
赵晨阳：商业上我🇧🇭🇧🇻很喜欢视🌦➰频生成的生态🔝。晚点：是否使🎫用 Muon，是🇵🇼现阶段判断一个🇮🇹🌽模型团🇰🇳🥕队 i🦌🕋nfra 能力的🐿🧱指标之一吗🛎？ 刘益枫：🚒🤝可以这么说🛂。中端手🎠机价格优势不再🐍。但在用户看来🕢♠，这只是🔹💮回复话术，🎲👩🦰并非真相☦🏬。那这不仅是🥁偏激和错🏤🈸误的，也是🇷🇺危险的🔣sem广告投放是做什么的——它会制🇸🇿🇨🇮造一种新的虚无主💸义，让人😷👨🦱觉得"反正我不🤽♀️如算法，那🤧就不如自暴👩🦰自弃"😀。Muon 🇨🇴的优势是砍掉♣了二阶动量👩👦，optim📰🧶izer 🏚🕖state🧺⛹ （优化器在更🍫新权重时需要✍持续记🐔录的内部历史🍹🤞数据）从两倍降到🛄一倍，能节ℹ省相当🐂多显存🛅👈。
