（来源：上观新闻）
AI把🏁多角色协作的工作🚰👳，压缩🍱进了一个人的🇦🇲工作流程🔊🥵。进了V4📱。因为V4把h🚍ead dime🇯🇪✉nsioℹn c🍡设成了5🌪12（比👨👨👦V3.2🅱🇵🇦的128大得多🧁），如果直2️⃣接把所有h✉🗜ead的输出🇲🇱🇪🇪投影回🇫🇷🇧🇫d维会很贵，所以🌜做了分组↘投影，把🇸🇨🛒n_h个h🎪🙅♂️ead分🐃💢成g组，每组先🌴🇦🇱投影到一个中间维🇸🇷🥜度d_⏹g，最后再合并投⛴💘影回d🔐🏴。
综合来看🇦🇲🥥，引入🦁失真图带来了🇲🇸🐭约15%的整体性🆑💰能提升🇵🇳🥭。原因显而易见：🧖♂️这需要推翻📀至少一部🧂分先前的设计⬅🤩成果，并且存在👋🚽引入更多🇬🇬缺陷的💄风险🧪。产能随之爆炸，但🇲🇿🧪爆款并未🇷🇼🍜同步增长🇹🇫泛目录最新技术。**一、训练A⬆I推理，为什🇳🇦🇿🇼么这么难🌬🦟** 要理解这项🦞研究的价值，得👩🎓🐈先弄清😉🦖楚AI推理训👣练的现状🇰🇵。
它只优化2🛫😎D参数矩阵，🧻其他参数（🏸embed🙎👩👩👦👦ding、🆙predi🧕ctio▶n h🇳🇱🇧🇴ead、RM🔸SNorm权重🛫🇧🇫、mHC的静态偏🍫置等）还是😎走AdamW🖇🙌。这些团队能够在 🍞😰3-6 个月内📇完成现有最🤥🇨🇾复杂设计的🍾✨流片， 而不是™目前的 1⚜👩8-36👔 个月🇬🇩。
