（来源：上观新闻）
晚点：优化器的🇱🇹变化需要 🇿🇼🐦infra⚪☯ 上做什么调整和👔配合？ 赵晨阳：👏🇮🇷推理侧不需要关👇🇵🇱心，因为不😈🥃涉及参数更👩🦳🥛新；训练侧一💋定要做适配，而🕧🇳🇦且是大工👩程，整个开🚶♀️源链条要从英伟达👣的 Me🕸🇮🇸gatr🇹🇿on ♌👨⚖️或 Megat🇨🇦🥿ron-Brid🇱🇦💜ge（英📮伟达发布的工🚼具库，主❄👩💼要用于在🖲🏸 Hugging🎐 Face 💡和 Me🇸🇰👩🦰gatro🇵🇹n Core 格☁💦式之间无缝🍿转换大模型权重，🇨🇫📸并提供高性能分🔂👊布式训练框架）🎨🎾这一层😽开始改，🇸🇹🇪🇷再一层层往下🇦🇴🙅传🏮😰。
后训练：多专家训📔👩🏭练 + 蒸馏💐🔜的后训练 晚点：💼Deep🦚👨✈️Seek-◼V4 报告最后两🇵🇱🍍部分讲了🤘➕训练过程📟🌅，包括预训练、👩🦲🖍后训练和测评🌗📦。“没有安全，飞得🏙🇦🇸再多也是📗隐患🐙。相比 V😾3 的 MLA，💌它是一种 🎊token🍊👃-wis🈺e（词🇲🇵🕤元级）的压🏧🧾缩机制，🧾通过混合使☔🆘geo是什么缩写用 CSA 和 🐭HCA 💭实现 4📣🇬🇾:1 👩🎨🛠甚至 🔛💢128:1 的🦃🇸🇯大尺度压缩🦴🧖♀️。
同时一如既往地在🀄⚙并行训练、训👨💼练精度⚖👨⚕️调节等🇫🇮🛋方面给业界带来新👨🔬东西🇵🇳。如果只是几千🐁 Tok👨👧👦en 的🚟💡输入输出，效📎率提升并不♋显著⏯🏴。路透社表示，三🌞星和中兴未立即🦇回应评论👬🍄请求🏦。
