（来源：上观新闻）
所以可🔢以看到，Ki💛🔎mi 的 🍺🏙K2 只➕😲在数据并行（da🇸🇹🥗ta par⚪alle🆔lis🕳m）层面做🇵🇫切分，没有🐎🧽在张量并行上做切🏚分🌙。INT👋4 和 FP4🤜 不完全一▪样，但也👩🎨属于激进压🙆🔃缩方案⬇🔔。赵晨阳：只🐨能说他们投🇳🇫🇨🇼入很多，但不一定🌶比其他人更多🙋🔴。六种并行策略💥🚙（DP、TP、🌭SP、EP、P⚡P、CP）的正确🔣🏮性、训练与推🌦理的一致性、🏎👽index❣er repla↖👈y、F🏷🚶♀️P8/B🤷♀️F16 混合🍔采样——任何一环😖出错，奖励🦎🦚曲线就起不来🍏🃏。
以前的 T🍠🏎ransfo🇦🇬🥇rmer👡，层之间只有🇧🇴😑 d 维🦑🔐的信息😋🍆流宽度🚕😝怎么自己弄一个平台；但现在是 d👑⬜ 维上加🦟了 channe📃l 维，信息流宽🙆♂️度变成 🏴d x⏹🥑 c，推理能😾力显著提升👏🥼。
这很坦诚，公⚗司内部1️⃣的采用意愿➕非常重要🍘🎥怎么自己弄一个平台。比如说去年📔🏥的 MLA🔷👬、Dee📠pSee💽kMoE（De🇲🇾epSee🌧k 提出👩🦲的一种🔳😐 Mo💁♂️E 混合🦓专家模型架构，✊🇫🇴最早用在 V2 😼中） 等，我们扎🧔🧵扎实实做了一💾年，才能✅🇧🇻在开源框架上🤚🧓跑得比较好🥋。
