（来源：上观新闻）
注意力机制：👮👨👩👧CSA 和 ❔♟️HCA 如何组合🇱🇮🇮🇹工作 晚点：2🕠👨🔬025🇳🇷🙇 年年🤫初 Dee🈹🛠pSeek 提过🕧 NSA（原🎇生稀疏注意力😭），同年 9 月👩👦👦又在 🙈⏬V3.2 上用🇸🇽🇨🇮了 DSA🖐👊，这次则🦅是使用了组合 C🎩🐜SA 和 H👔CA 👃↖的新的混◾合注意力机制👔🚈。他补充🖱说，高通刚🇩🇿刚进入该领域🌪，因此其“规模可🤹♀️👲能与老牌供应🕤商不同”✍🇮🇱。报道提到，俞浩🕰对手机的定🚸🐮位是坚⬇🙌定走高端化路🐇线，优先搞定🤞 5000 +📯 以上🎙🧂的高端市场😯👩🦳。
过去大模型训练📊🧥的主流优化器是 🕥Adam🚎😱W，但从去年🥐到今年，Muo🎑👇n 开始被越来越♉多的前沿模型👆采用——🌈OpenAI👩👧👧📿 在 2024🔕 年底招募了🏅 Muon 的开💦发者 K📰🈹eller J♣ordan🛄👩👧；Kimi 20🇦🇽🇰🇬25 🈚🇨🇽年年初开🚉始发布↔ Muon 的🇨🇳改进版👴🦖。
