（来源：上观新闻）
训练阶段，🍁🧀优化器🙏👩👦👦维持 F🏃♀️🆗P32 🍙主权重，👉计算前先压🇮🇶🆑缩到 FP4 范🌿围，再无损反量🐠🤷♀️化回 F🇳🇱P8 计算📡。后训练：多👡专家训练 🅰💓+ 蒸馏的🔉后训练 晚点：D👓eepSeek🛬-V4 🇸🇻报告最后◻🧚♀️两部分讲了训练⌛过程，包括预🐹训练、后训练和测🎃引蜘蛛软件评🧑🇸🇬。断章取义式解📕🛋读只会误导公👱♀️引蜘蛛软件众🧳🇧🇲。
多数研🚼🐝究人员认🇩🇬为，轨道数据中🍕👌心从概念到成🧩🏸熟长路漫🇵🇳漫🌡。整个行业必须把评1️⃣🗑估做好，否则🐛很容易陷入自欺🎩🏓欺人的循环🇷🇺🦸♀️。不仅引进了🚑🚻 mHC（流行🧶约束超连接）、起🐥始层哈希路由等技🐵术，还大胆使用了🔧 CSA🕜 和 H🌙🤮CA 等 tok🌡🍺en-wi😘se 的压🇦🇶缩技术，创✒💥新性使用了不同🚷😎于一般实践💂的 Muon🐭 超参数，甚至放🦢弃了既有🤸♂️👨❤️💋👨的 M🛂LA 架构💛。。被告已全部履行🥋。
”经济观察报记者🤷♂️🍥随后追问🇨🇳🇹🇯其与华为🥧🥠昇腾方🥘☠面的合作，该👒公司董事长罗永忠💑表示：“🚩具体客户合作情🥽🌥况请关🧰🎀注公司官方及指😺定媒体披✌🇳🇱露内容🇨🇱。马斯克还说过，🖨特斯拉🔓和 Spac🇳🇮📳eX 将在 Ro🉐🗯adster 跑🎤车项目🚶♀️上合作🐑。训练时把优化器换💝💣成 Muon🔦（矩阵级别优📤化器 ，能对🚧🧖♀️整个参数矩🇲🇵🇵🇾阵进行🥴👩👦正交化处理🍿），训练精度🙄🇵🇸推进到 👩🦲FP4，进一步压🇯🇴🍹缩显存和带宽；⚗🧜♂️推理时引入 DS😸👥A（De🔘🥨epSee🌔k 稀疏注意力🎿）、Deep🇦🇺🌱EP（Dee🥛pSeek 🦡通信效率的🙁底层基础设💓👀施库）、Mega⏪⚠ MoE 这一🔟整套 I🐓nfra💷。
