（来源：上观新闻）
后训练：多专家📭🐑训练 + 蒸🧞♂️💁馏的后🇳🇬训练 晚0️⃣点：DeepSe🛷ek-V4 报🍢告最后🦷💍两部分🇦🇺🔜讲了训🇿🇲🎸练过程，包括预📍👁训练、后训练👝📰和测评🎴♓。从轴心时代👨🚒🎿的哲学🇰🇬🤥突破到🏴科学革命的范式🏭转移，从工业革🧞♂️🤑命催生的现代❓🏚意识形态👨💻💁♂️到信息革命😫🇧🇳引发的后📦🚮现代思潮，技👩🎓术—经济基😽础的跃迁与思😬✳想上层建筑🇮🇳👧的更新之间存🎮☝在着深层🎏🔺的结构性关👴🇹🇨联🤬🌄。
首先是性能🍦上，两位🈴怎么看 V4👨🎨 的 👩🦳Benchm🏴💝ark 📛🏮选取和🚖分数表现？ 📪赵晨阳：🧚♀️V4 明显测了🇨🇩更多和🦡 ag🌛🏈entic🗯🐾 相关的 B🇯🇪🏔enchm🧖♂️☦ark，尤🔊✴其强调工具使用、🔗▫多步规🚋✅划等🇳🇮。
但由于模型结构🐌👨✈️、数据分布🐸🧙♀️等差异，普通🗻🧨梯度下降不太📩适合大语言🇦🇨😙模型这🦖👪类深度神经网络，🇨🇺所以后来出现♋🐫了 Adam、🌊🖇Adam👨🏫👲W 等带🇺🇳动量和预条件机🎪🔹制的优化器🇳🇨来帮助训练🙈👀。
