（来源：上观新闻）
掐指一算，涨了 🏌1500 块…🆑🈳 8000🈯 块的高端机🚸👨👦，涨价🔣🎏 1500🍶🌉 元，也就📸只涨价了 20✅🏹% 不🦕🚣♀️到👰。原文为：We v🍲alidat♿ed t😬he fi🚽ne-grai💾😔ned EP s♓cheme👩💻🎋 on both💣 NVIDI🇻🇳🥜A G🇺🇾🛸PUs and 🍝💆♂️HUA👨👩👧WEI A🦵scend N🧒🏸PUs p👊🈯lat🏧🍰forms.） 🤮晚点：晨阳✴🌥提到 “率道而🐶行，端然正己”👞😢。
大学是第🇲🇼📬一个分叉口 🚛🦏sem是什么的缩写奥赛选手👨👩👧👦🈚的故事，🌏从填志愿那一🇦🇨刻就开🍪🦗始分叉了☎😳。。但由于模型结构🀄♐、数据分布等差🚆异，普通梯度下😩降不太适合🛢大语言模型💾🌗这类深度神经网络🇦🇪🦐，所以🏚后来出现了🎉 Ada🗄m、AdamW ⚖👝等带动量和预🔅条件机制的优化器🔏来帮助训练↘。
Muon 的优势🇸🇨👨👨👧是砍掉🏙❎了二阶动量，op👷♀️timi🕡zer sta🔪🐤te （优化👩👧👦🇦🇫器在更新权重时🇸🇱需要持续🍪记录的内部🔠🚠历史数据）从两📇⚪倍降到一倍，能🍷节省相当多显🥺🤑存🚔。
