（来源：上观新闻）
这组数据背后🏣♓的逻辑是：当♏训练场🇱🇹景与目标场景完🚔全一致（即直接😖在目标场景🇸🇾🥥上做GRPO）时🎵，模型很容易陷〰入过拟合或训练不↕稳定的状态——🏁🐁它学到🌋的可能是特定😡题目的答案，🎾👯而非通🍌用的能力；而🇮🇹🕚TRACE☹的练习场👩🏭🦸♂️景经过专🇸🇧⌨门设计，每道题都🥥👢由随机种子程序生👨🔬成，变化无穷，A🇳🇪🐇泛seoI练的💄是"能力本身"😍⭐而非"特定题目🌰"，因此能够🐉⛄随着训练轮次🏯🇴🇲的增加持续稳🇽🇰步提升🧟♂️👞。MoE🇭🇰部分仍然用🇰🇲DeepSe💈ekMoE⛏🏫泛seo，MTP（M💦ulti-T😲oken🥮🆙 Pr⏯🥺edict👨👩👦👦🇰🇲ion）模块跟🇨🇱V3保持一致◾。
存储方面，TP🎈⏬U 8t引入TP🇬🇬🇧🇲UDir🥊🗨ect R🚤DMA与TPUD📳irect S🚽🇩🇬torage技🎓术，绕过主机C🇵🇼🔯PU直接在TP🤬🍿U高带宽内存（H📊🚢BM）与网卡🤡📈、高速存储🗝之间传输数据，存🐡💦泛seo储访问速度较第七🌅代Ironwo🚩🇰🇲od TPU提升🛏10倍，可确⬆👩❤️👩保MX🚥U在处理大规🌜🇼🇸模多模🆔⛷态数据集时🎮保持满载📣。V4的做法是t😺each🛎er权重o🇫🇯👨👨👧👦ffload🎈〽泛seo到分布式存储按需➖加载，只缓存h♿idde💍🌍n st🇳🇺ates不m🍦😅ateriali🎾ze log🧗♂️its，按t🛄🎋eache🖋📄r排序样本保🇮🇲证每个mini🇳🇴-batch只♣加载一🤪个tea⏲🇧🇷cher 🔳🌰head🍁🇿🇲。
