（来源：上观新闻）
这位成都空御科🐇技董事长、清🐁华大学博🏋士、正高级🐢工程师🦋⬛的获奖理由，不仅🚈在于他作为企业👩👧👦🤺家的成功，更在🛁👞于他作😤🐛为一名“产业🌁筑基人”👟🎻的战略远见🔗💴。Muon 的优🇰🇾势是砍掉了二阶🦵🐂动量，op🇭🇲👔tim😅🈶izer🏤🦔 stat🚐🇨🇬e （👨优化器🇻🇺👩🦱在更新权重时🚉需要持续🚅记录的💏⚗内部历史数据）从💥两倍降到一📴🐬倍，能🧔节省相当多🙂👨🍳显存🛡🧙♂️。
同时他坦言，A🏴I虽不会淘汰☑♓程序员🇳🇺，但会重塑岗位🧚♀️能力要🤰求😪。当环境发生了根本😫性改变——🤖🏬比如，🇳🇿我们现在所处📲的这个〰高度操控😁🐷化的信息环境、🧡🧸抽象化的风险结🇻🇦构、算法🗂🆙密布的认知战场—🙊—这些🔋机制的有效性就⌨🥺需要被重新审视🧲。晚点：正好这几✍👮♀️天正在开 ICL👒🇪🇺R （国际学习🇪🇪表征会议🇽🇰👩🎓，Inte7️⃣🇧🇶rna😼👷tio👨🏭🛡nal Conf👛⏹eren🇳🇺ce on Le🔃arning🔁😅 Repre👯♂️sen🇹🇬tations，👩👩👧👦🔣AI 顶会之一🐛）， 大家在🧟♂️🚳会场是🧞♀️🇱🇦如何讨论 🛬V4 和⚓同期进展🇹🇬的？ 刘益枫：有🎎🌶意思的是，V4🇻🇳🥤 放弃了从 💍😗V2 到 V👨👦🐅3 使用🎊🧺的 MLA🛋🎭（注：多🇪🇦⬛头潜在注意🏤力，由🇲🇹 De⏯🧖♂️epSe🇲🇰👎ek 提🚛🤳蜘蛛咬了怎么处理出），而目前 K👁️🗨️🦎 2.63️⃣、GLM-🎱5.1 👨🤽♀️等模型依🇲🇺✳然采用 MLA🧪。
所以我们设计🐏🏎了 S💖🥔hadow🇪🇪Rad😯◽ix 来应对—✍💜—三个异👄🤴构 K🇨🇼🙎V 池👩⚖️✔（SWA🇪🇬8️⃣ / C4 /㊗蜘蛛咬了怎么处理 C128）🖍🥈加两个压缩🏊♀️🙅蜘蛛咬了怎么处理状态池，🇻🇪🌋要在预填🔮充、解码、投机🐮📥解码三个阶段😣保持同步🏙。
