（来源：上观新闻）
因为V4把🥨⚪引谷歌蜘蛛head dim🌘ension🇧🇴🔗 c设成了5🐙12（比V3.2🤷♀️🔚的128大得多😂🧺），如果直🙂接把所👨🎤有head的🤑输出投影回d🥫维会很贵，所以👨👩👦👦📏做了分组投影，把🔬n_h☯个head分成🇲🇫🐳g组，每组先投影💳到一个中间维度😷d_g，最后👩🌾再合并投🚋🐁影回d🇵🇱🚮。
另有调查显🤤👨🎤示，在😬👺所有AI短🧒剧的品类🇬🇶🧹中，AI⛩⛸仿真人短剧🏒是付费和消费意🌏愿最低的🧟♀️。为了应对🏧❤不可预🇦🇲知的场景🎙，企业只能不断堆🍅砌算力和🍍👩👦👦昂贵的传💅🐇感器，导致👎👉单台成本居高🈵不下，且在真💭🚕实的复🇳🇺👎杂环境里极🇸🇸易失效👨👧👦🌽。
2025年🏒，Moo🇬🇮🍶nshot用M🐌🐥uon（加上他⛰🎥们自己的🐙🏄♀️QK-Clip变🛫🇰🇲种，合称🦎☦MuonCl💪🇲🇻ip）训了一🌌个1T参数👨🦰引谷歌蜘蛛的MoE，1🐃5.5T t🌲oke⚙🇸🇧n，全程零🍏崩溃🛠🇳🇪。
