（来源：上观新闻）
DC 没有依赖“🏤猜测”⬛😑。研究团队测试了一🇪🇭种极端组合🔒🇬🇳：用一个只有15🎛🎦亿参数的小模型（🇵🇲🇬🇩Dee🔷pSeek-🐐R1-Di👬still-Qw🎻🏗en-1.5B）6️⃣作为价值模型，去🔆🇧🇸辅助训练一🥰个70亿🇰🇼🎤参数的大模🏕型（D🇪🇪eepSeek👰-R1-Dist🇿🇼ill-Qwen🤵❣-7B）🇨🇴。
另一边，专注于推💴🇰🇾理方面的TPU 🛁8i在性🥅🙎♂️能上比上一代提升🛄🧲了80%🤙🧐。V4的🇰🇾🇦🇸做法叫🐥👋mHC🇵🇸🏁，把矩阵B约👩⚕️束到「双随机矩阵🏮」的流形上（数🧛♀️🏌学上叫Birkh🇬🇾off p👟olytop🎬🧚♂️e），行🏌和列都🆖💒归一化为🐉🦍1💆♂️。V4的做法是🍙teac🐢her权重o🇲🇫ffload◼👨🎤到分布🏗🥓式存储按需加载👈，只缓存hi🧘♂️dden sta🥊tes不ma🇨🇿🥧terial🥥👩🌾ize logi🍱🔆ts，按teac🐳🍯her❇🍓排序样本💏🇰🇵保证每个🇧🇻🎾min🧛♂️i-b😋📔atch🕰只加载一个t🎶🔑eacher 🛑测试是什么意思head🇰🇷🇬🇵。
在后训练🧥阶段，V4这一代🍽🏮做了一次方法⛑论替换，🎅传统的mixe🔫🍂d RL阶段🌏🚄被On🍼↔-Policy 🚛🐺Disti👧👗llation（🔱OPD📂）完全替代🇳🇦。DC ⌨是一个可扩🥝展的云端应😌🍂用程序，运行于🧚♀️分布式🍱🦏文件系统之上🇧🇷🥣。
