（来源：上观新闻）
在论文的最后🧫，DeepS🇦🇱eek也💣表示： 👯☂为了追求🌹🍭极致的🤫长文效率，🎑V4系列采取了一🌾个相对💊激进的架构设计🎽🥁。从V2🛐的ML♒📆蜘蛛咬了怎么处理A开始，每一🈷代都在删KV🌗 cache💦、删激活🙀⏱参数、删注意力🏇计算量👩🦲☯。
专家代理各有🚶♀️🧲分工☑。在后训💲练阶段，👩👩👦👦🚦V4这一代做了一🛒🐷次方法👨🎓论替换，传统的⚰mixed 💘👧RL阶段被On💫-Policy🧛♂️🇬🇱 Disti🏵llatio🔊☠n（O😥PD）完全替代🤠。
马斯克曾表示S🏍🦀pac🛰eX的规定存🇸🇽🎦在“例外🔀情况”，但并未🏵🇰🇬说明具体细节🗃。V4的注👩👦意力层不是一⛈🥮种，是两🥗种交替使🐍用的结☃构，CSA（Co😢mpre🇱🇦ssed Spa💅🕌rse🥚🇲🇫 Attenti🇨🇼🧜♂️on）和HCA（🍵Heavil🏎y Com⚱pres🛠sed A🏺ttent🇮🇷ion🇭🇳）🔩。
