（来源：上观新闻）
现在 Deep👨👧Seek 发🇳🇷🧐布的 🍺checkpoi⚜🚧nt（模🗾型权重文件）也是🗝🧗♂️ FP4，训练中🔃🇮🇳采样用💑的权重就😊是最终发布权重🇧🇧*️⃣，而不是先训练👜 FP8 再💨量化成 👙🥧FP4🧤。它需要🍼针对不同模🥡🍴蜘蛛爬身上怎么办块，如线性层、🐉🏊♀️输入嵌入🇨🇰👨⚕️层分别调学习⛱率（learni🛌🇹🇬ng rate，🇲🇲👨👧👧控制模型每次更新⚰🏥参数幅🇱🇷👨💼度的核心超参🙁数，太大容易🎤不收敛，太小则训🎟🚼练极慢），我🍫们当时也第一时🚴间跟进了🚬💙。
同时，有报✌道称美国白宫🕵️♀️正在抵制 Ant🚋🚟hropi🇹🇲⛵c 向🇹🇷更多公💭司推广 My📝🍨thos 的🏸👊计划，主要担忧就🇬🇪🎽是扩大访问权💡限可能会🤱带来重大网络安全🍸风险🥛🦂。） 此外，我们最🧙♀️🌰近发的 H⚠📲iSpa🗡rse 把稀🚖🧮疏注意力的 KV💒🏥 卸载到主机内😧存，在🆔🌴长上下文场景能🇹🇩🍑拿到 5 倍吞🛰吐⛴🔘。
