（来源：上观新闻）
对 T🍷ransfor⛹️♀️🎞mer 架构来🇹🇱📅说，也可能*️⃣会出现提高层间🇹🇿🕉信息流动的新🥢趋势🇦🇬。对 Dee🇦🇮🥜pSe✳🈚ek 来说⚜🤺，视觉能力⛱◽是让它的推理👩👩👦👦能力从👨👧👧☕什么是网络营销文本世界延伸到真🥉实世界的关键一步🕢🔞。
如果觉得不错😂，随手点🧨个赞、在看、转发🎟三连吧，如果想第🇦🇹一时间收到🍡🌺推送，也可以给我♨0️⃣个星标⭐～谢谢你🇩🇿看我的文🧡💞章，我🇵🇳🇸🇹们，下次再见🥝👂。对于线性🛹层这类二💧维参数，🇲🇩🎍它本质上是矩阵👩💻乘法，Muon 🇧🇷会把整个💱☸矩阵作为整体🔹进行归一化和🧦优化，这🇸🇱能更好地利用矩🌫阵中不同元👨🎨🍇素之间的🥮联系，让矩📗阵内不🚱🇮🇩同元素的优化🇳🇬步调更✋一致，进一💅🔉步提升训练效率和🦙🔔推理能力🔕。
另外，预训👨👩👧👧🍥练和后训练的优🇧🇯化器基本要🤾♂️👮♀️保持一致🔓。比如迷宫里从起点👚能不能走👨⚕️到终点，👽一堆交错的线条中👨💼，某一条线最🧒🚣♀️终连到🇲🇽🏰哪个图标🐀。他们造出了约20🏴☠️家独角兽（估值🇲🇺10亿美👨👩👧元以上）、7🔺家十角兽（🌠🌺估值100亿👱🈷美元以上🇵🇹💛），横跨🏗AI、加密📭货币、云🇬🇪🇦🇬基础设施🥫。
