（来源：上观新闻）
对于线性层这🉑类二维😛👩🎨参数，💁♂️🏋️♀️它本质🇪🇭❔上是矩阵乘📀🎀法，Muon 会🇵🇬✳把整个矩😗阵作为整⛷体进行归一化🇩🇬🈚和优化，这能更🚸好地利用♑🙍矩阵中不同🦷🐢元素之间的联系，💓让矩阵内不同元素🌻的优化步调更一🚑🌦致，进一步提🥃升训练效率和推🤾♂️🚮理能力🌆。前沿探索和对💬比验证的实验👅🖊成本，人力和数据🇸🇯成本才🎗🇨🇷是主要开支👧🇾🇪。这个动作当时被5️⃣视为扎克伯格🦆🇦🇴对AI团⬛😚队的一次大刀阔🇧🇫斧改革，背后也有🚭Llam🇦🇿a 4表现不及💈预期、旗舰模型B🥑🥫ehem🆗oth推迟发布🏌️♀️🌸的压力🏄♀️。
我刚庆祝了💇👩💼在苹果工作28🤗🐊周年，其中担任首🇲🇦🕸席执行官🏭🔗已有15年👳。高了没人买，低🏙了又亏🐔🐈。V4 报告提到🖥🥴，他们可以用 T🇮🇪ileL▶🦗ang 把一些 🗳kernel 的🐣⚠启动开销压缩到微🤹♂️🏞秒级，🚽🏊♀️也提升⌚了 “位级📛可重现”，📯🧳就是一个 pro⛄mpt☘ 输入给 V4 💒后，如果用 🍙TileLan📘g，两次前向推🇾🇹理（神经网络从输🇧🇷入到输出的计算🇦🇿⚛过程）的结💍🎳果更容易复现🧣，这对推👍理工程师 deb🌬◼ug 很有🔉🕷帮助🆒。
都能买🇪🇸小米 17 P🤭📼ro Max 了🇨🇴啊… 图🕛🈺片来自🇸🇮网络🏛。这对设计🇬🇵🚣♀️师和产品经理来👨👧🔗说，它🤚可以让视觉🇵🇼稿更快变成可🛋🚦演示的原型🔒🖨。赵晨阳：这👎次 V4 的激🐳🥦活比（😅💇激活参数比模型😅🤹♀️总参数）确实是🥶🇷🇪这一波模型🈶🐙里最低👨🚀的🐟🎒。
