（来源：上观新闻）
能否先简单解释一📵下，优化器在🧠大模型训练里🤼♂️🦀起什么♨🈴作用？Mu👶on 相比 A🚸🎉damW 的🥶核心优🚟🧝♂️势是什么？ 刘益🚱枫：一般🇵🇦深度学习网络的训🇮🇱练过程，就是让👨🦲🥖模型通过损失函↔数的梯度下降信🇳🇷🤡号不断更新💣🗼权重，当权重更🧂©新到一个状态，🇩🇰模型能稳🇳🇨定达成设计目标▪了（比如预测），💚🇧🇲就是训完了👨🏭🌁，得到了🚮🍚稳定的权重🙉👧。
（注：CS🥒🇬🇲A 是 “压🇮🇨缩稀疏注⏹BAIDU优化意力”，HC♾️🔻A 是 “重🔍🙎度压缩注意力”🐺。如今十五年🌠🇸🇹的时间过去👩🌾，罗永浩依旧还是✔当初那个📟充满关注度和争议🏧🏃话题的流量王者，🧿◼而西门子🔧8️⃣则在国产厂商的🕋🔨围剿下💚，早已失去了大🕧把的冰箱市场份🍪🇮🇹额🧗♀️。刘益枫：其实⛸🥫这个问题一直存在🥄，之前大😘4️⃣家就在想解法，🎩♑比如 K1.🐉5 的🇵🇰🇺🇸报告里的 🚿“长度惩罚”，🕦🇧🇾当回答同一问题📴😩时，会惩罚更长🐫❗的回答🧨。
