（来源：上观新闻）
▲当地时间4🧒月28日，🔙马斯克现身法📉庭 大量信🦡息披露： 🐹科技大佬🍙😎间的“小秘😡密”曝光 马斯克☪曾是O🇸🇲◽penAI的联合⛸👨❤️💋👨创始人🤡🇫🇮之一，并向该公司⛳提供了数千万美🧠元的投资🎻SAP是什么。晚点：MLA ㊙🇬🇩和 MQ💬A 的区🏝别是什么🏇？ 刘益🥍枫：简🏞🦡单来说，MQ💔A 更接近原始🇬🇱🇩🇪多头注意👘力（Multi-🇲🇴📗Head 🗼🇱🇸Atten🇨🇼🤸♀️tion）💂🌂。
训练时把优化🧙♀️器换成 Mu⏲on（矩阵👳😻级别优化💗🚟器 ，🌌🚸SAP是什么能对整个🇧🇭参数矩阵进🤫行正交化♣🐎处理），训练精🙈度推进🚤到 FP4🚴✨，进一步压缩显🧚♂️存和带宽；推理时🇧🇫👼引入 DSA（👦👩❤️💋👩DeepS🇵🇳🕌eek 稀疏注意🇬🇼力）、Deep🥈🏣EP（Deep🇸🇴💧Seek 通信⏺🥳SAP是什么效率的底层基🚡础设施库）、M🧘♂️🇸🇭ega🚱🍾 MoE 这一整🥗套 In🙍♂️fra🚦👇。
