（来源：上观新闻）
”今年3月🇮🇶，美国特朗🛸普政府发🕶🇩🇴布《纳税📹人保护👛承诺》🎡，进一步推动数据🇵🇦中心“🤲上天”☺。DeepSeek🚵♀️ 为了解决 FP🧓🦂4 训🧞♂️练问题，⚓在预训练🏣⛱和后训练上都用🙆了很多工程📨巧思🇲🇲。
但它在动量上跑⏯🐞完牛顿-👨🚀🧝♂️舒尔茨迭🇮🇪🏳代后，👭🙇还要做正交😩💓化📰🇦🇩。晚点：M🦸♀️LA 和 MQ😂A 的🛳🗒区别是什么？ 刘💈益枫：简单来说🐉🇲🇫，MQA 🐽♉更接近原始多🍤🇨🇳头注意力🇷🇸🇦🇷（Mult🇳🇫i-H↗ead Atte♍ntion🇧🇭🎃）🔗。
这有点🍓像数学插值，把👩🎨复杂 📸loss sur🇦🇱🚉face 上的🔞🐎联合优化，🙎♂️变成在🕯已收敛离散点☄之间做🤹♂️📲插值，工程上更🕹🐌稳定可控🛃🧝♂️。
