（来源：上观新闻）
基座基本都是 M🚩🥁LA，优🎚化器也类似，之☄🇧🇱前大家用🎱🌑 AdamW 🇲🇳或者 A🕓MSG🕓rad🐺🎴（Adam 的一🤼♂️🍉个变体，通过🎪保留历史二阶🚴♀️矩估计的逐元素🤓🇲🇭最大值🧕，限制🌨自适应学习率🍈波动，从而🇹🇭😪改善收敛稳定性）🇱🇻🔧，现在陆续转⏳🇬🇪向 Muo🦋n 或基🇬🇾于 Muon 🦔微调🇦🇫。
总参数越🧙♀️大、模型容量💚🔅越高；🧼激活参数🙋♂️越小、推理成本越🐢低📼。所以我🍘🌨更愿意把这件事🚢叫 ev👨💼🇮🇹al（评估）👩🍳，而不是 🐾®bench👨🏭mark（测评）🙍🇨🇵。AI时代也🔈🍈不会例🐞🤖外🦏。系统内部被画出🇬🇭👮♀️一条边界：这边有🐻⚙开源低代码平台 spe👨💻🎑c，那边没有👨⚖️。
