（来源：上观新闻）
动量可以让更新🦂更平滑🥏📀，归一💞🇻🇨化可以💁♂️🏠让每一步🇲🇻🇳🇿更新的 scal🇬🇱e 更🍯🐬统一，从而稳🎷定训练🤒。基座基本都是🇨🇨 MLA，优化器👰📊也类似，之前大🏁家用 AdamW😾 或者🉑 AMSGra🆘🇲🇷d（Adam 的🏞👩🦱一个变🗜体，通过保留🇨🇾历史二阶⛸🙁矩估计的🐠🍆逐元素👩👩👦👦最大值，限制🕕📨自适应0️⃣🧗♂️学习率波动，😭🔴从而改善收9️⃣🇯🇵敛稳定性），现在🇲🇸陆续转🤪🤟向 Mu🕣on ⬆或基于 Muon8️⃣ 微调🍊。晚点：⚓从 Keller🍜 Jo🇦🇿🧛♀️rdan 在🏒 202🔀🧹4 年 1🎌0 月提出 🚧Muon 到它后🐜🇳🇷来变得更主流，这🆎🌨个过程是怎🇸🇾🇮🇸样的？ 刘🥉益枫：🇧🇯2024 年🥿🎵底 Muon 刚📢被提出时，对使☮🦂用者并不友好👕。
首个客户将是沙特🌎🕣政府支持的🌄AI初🍣😲创公司🚖🏃♀️Huma🇱🇨🦶in🐼。OpenAI关🏰键营收和用户目⌨💨标的缺口🐣，已对科🚯🍶技板块的近期🍀势头有💣所拖累🤲🕢。晚点：现在☂🗯关注度🧛♀️基本被 🇳🇱®codi🍟🧩ng、通用🥈🐣 Age🔖nt 吸走了，因🐠🇨🇦为竞争🗜🇱🇸焦灼，也都是🏹大公司⛸。这个警示不仅🐕针对外资品牌🐿，也是对所有家电🎶🎀企业的当头棒🐠喝，在🗻📝日渐白热化的家🏝🇬🇱电市场竞争中，企🇲🇲业一旦😺失去敬畏、停👬💠止进化，🕓🇧🇩终究难逃🈁🌥被替代的命运🧾。近日，美🌇😵国五角大楼宣布与🏌️♀️seo是什么职业岗位七家公司达🕹📓成协议，包括📛🐇 Ope⛴nAI、谷歌、🇶🇦微软、亚马逊🐮👕、英伟达、☑Spa☝ceX 和一家名🔲为 Ref🌸☁lectio💤🍹n AI 的🇮🇴🔇初创公司，允许📘将这些公司的 🐩AI 系🅰🚴统用于机🍕密级别的军事🐌🍨作业🌑🐒。
