（来源：上观新闻）
四、"合并技能"👩🔬为什么反而不如"🤫按需切换"：一🤩个反直觉的发🕜👩👧现 在设计TR🧀ACE系统时🇸🇷👨👩👧，研究团🇪🇹📼队面对了🇾🇹一个直🖤觉上很自然🇹🇻的问题：🎾既然要训练多种🇬🇬能力，为什🚾么不把它们🙋♂️🤴seourf中文啥意思都整合进同一个模🐳型，而要保🎆🛋留多个独立的🇷🇴🇧🇯插件并在✨🚟使用时动态切换🚕？ 这个问题的答🌫🇩🇴案可以用一🚂个厨师的比喻⏰🇲🇦来理解🎭😉。这意味着价值模👁️🗨️🚵型确实学会🤯☁了区分难题🚥🎪和简单题，🇦🇷虽然不完🙊🀄美，但🍧🤯相关性足够显🈵著，能为训练🤪🇹🇱提供有效的基💽🍳准信号🇰🇮。
先SFT打🇭🇹♏底，再🚤用GRPO🔘做domain🗯🐵-sp🛁🦀ecif👨🔧ic 🤶RL🇨🇭。这也是很多用♾️↕户体验后的🧻⛄感觉，“依然会忘🕹🦝事儿”👨👧👧👁️🗨️。V4的注意力层™不是一种🙂，是两种交🤲替使用的结❔构，CSA👨🦰🍹（Compres🎩🇵🇼sed Spar🙂🌙se 👀Att⛴🇲🇪ention）和🇷🇴🎂HCA（He🦶avily🚀 Compre🇧🇫🇦🇿ssed 🗺🍃Att🇰🇪enti🔪on）🇰🇿🖲。
