（来源：上观新闻）
这会是🇬🇺🌵一件比想象中🇱🇹🌀更深远的事情🎣🇨🇫。HCA的压缩凶猛🀄🌼、保持d6️⃣🧲ense，适合😒🇺🇬做长距离🥘🕳的全局信号汇🏏总🥤。先SFT🍌打底，再用GR🦉PO做d↗🙎♂️omain-s🇮🇨🇧🇬pecific🌭 RL🇦🇼。它只优化2👨👨👧👧D参数矩阵，其他🍑参数（embed🇱🇰ding、p⭐redict🚗🏈ion hea🐢⛰d、RMSNor💚m权重🥴😞、mHC的静态🌠🇩🇰偏置等）还是走🔀AdamW🚶🤫。
它把所有中间🗽成果都以文件🚿🇲🇵形式保存🎋🈷在一个有💁♂️权限管理的共↗🤘享工作区里🍺😡。但模型越来越深🔈seo泛站群、参数越来越多之🧧🎾后，传统残🙌差开始露怯，🐀🤺信号传递🇧🇿不稳，训练容🍸😱易崩🧴🦉。Muon在L➕LM规模🔝💢上的第一次🍼大规模验证是K☄🌘imi K2🤢🧗♀️。感兴趣的🕘🦃读者可以通过🤴该编号在arX🌋iv平台查阅🏴☠️完整论文👩🚒。
所有测试程序通🇾🇪过基于 Sp🎖ike 的🇩🇪测试平台后😗🏄，DC 开始进行🤓 PPA 收敛🤢。我今天最想写的，🍸🛏是 K🙋♂️imi 在 🇲🇹K2.6 这一❓🍋版上做的一个🧟♀️🏆特别有意思的产品🍝🇱🇹创新，叫👆🇳🇴 Claw 群🗑组®🔩。“原来做产品🛐的节奏是设🙆计、产品方案、🛢开发、上线🥎、用户反馈，流程🇱🇸下来可能要一两个🥒月或更长🇾🇪时间🔄💦。没有模块🧖♂️🎙边界，🌭没有数据搬👡运，没有信息🇻🇮🇻🇪损耗😶。
