（来源：上观新闻）
如果参♊数已经被 T🙎🥼P 或 🐠🇦🇹FSDP 切🦝碎，就要先聚合🇿🇲回来再计算👩🦰，涉及很多👩✈️分布式原理👩👦🇳🇨。另一方面，⏳🔶AI正在重构厨房💧生态，智✴🎱能冰箱已从“单点♑功能”🏴转向“场景联👎如何预防蜘蛛爬到床上动”🥨🇧🇷。儒家的“🇦🇬不患寡而👷♀️患不均”🕔、宗教的“少欲知🛐👠足”、道德的“☑克制贪婪”，皆💭建立在稀缺性🙆♂️🇸🇻语境之上🦉。
4月29🏕日华尔街见闻提🦵及，谷歌母公司A🏳🕵️♀️lpha👅🧬bet一⛳季度营💤收1099亿美元🖊，每股收益😺🐐5.1🇹🇱1美元，双双🏑🧁超出预期🏖。关于从字节✴ Seed 提👩👧出的 H🥡C 到 Deep🇦🇲🌯See🇦🇬🚺k 的 mH↔C，再🇲🇽↪到 Kimi 🧝♂️的 Atten⚗🍖tion👿 Residua➰ls 的讨论👩🏭🍰，还有 Kimi🛄 和 D🎋eepSee🤺k 围绕 M↪uon🈸㊗ 优化器的改🚫🛑进，又或者是💀🙌 DeepS🍮👩🎨eek 对🥯🍵北大团队🇳🇵🎛开源的 T😛📟ile☢Lang 😢😸的深度使用…🇸🇩🚴…这些成果相互联👨❤️💋👨👍系、彼此激发，鲜🍕活地刻画了，🇦🇮🚮一定的人才密🗄🛒度和竞争烈度后👔，开源模型社区🕷🍶在正迸发怎🥜🐝样的进步与质变🐩🙈。
能否先简单解🔐释一下🛎，优化器在大模型🇬🇾🇸🇸训练里起什🔁🖍么作用？M✏uon 相🏇🐺比 Adam🏘🦜W 的核心优势🇲🇨是什么？ 刘🙎益枫：🚵♀️一般深度学习💥🔚网络的训📓练过程，就是😂让模型通过损失💬🇨🇽函数的👜梯度下降🎻⛈信号不断更新🇰🇳权重，当🇸🇯权重更新到一个🏌️♀️🐉状态，模型🤪🐯能稳定达成设计目5️⃣🚤标了（比如预🐌测），🎏就是训完🇼🇸了，得🥽👯到了稳定的权重🇸🇰。
