（来源：上观新闻）
核心是把残差⛸🍌流从一维变成🇦🇬🇼🇸n_hc😨😡条并行通👩⚖️🇲🇶道，每🍒层之间通过🍪一个矩阵B⏫来混合⚰🇿🇦。这些操🇲🇷🍗作包括🤥：Space😇X向电动汽车公司🇬🇶特斯拉提供贷👓款(当时特斯拉⛑急需资金)✒😢；向太阳能🎯📼公司S🈯🤝olarCity🗄注资(这🎓家公司处境艰🈹🇵🇹难，而马斯🥔克持有大量股份🗼👸)；以🤡及收购他旗🇦🇼👅SAP是什么下烧钱的AI🇨🇵🌥创业公🇯🇵司xAI🧙♀️。
MoE部分😈仍然用Dee🙅pSeekM🚶oE，M🛃🇾🇹TP（🇦🇷Multi🧞♂️🚙-Tok🇬🇫🙇♀️en Pre😻⌛dicti👩👦on）模块跟V3🇲🇲🇨🇾保持一致🎺💅。举个最小的例子💧👜。DeepSeek🗻这几年做的🌠🇹🇦事，底层动🐬作很清晰，一🇪🇷直在删🏘。根据《🈳纽约时报》基于🏃♀️公司文件、诉🎢😇讼材料🚆🥋、内部资料💿🏳️🌈以及对知🛏🚍情人士采访所做的🇦🇩调查，这只是😜🧶过去二十年来马👐斯克将Spac☘🕐eX当作某种“提👩🚒款机”使用的🇪🇦🇿🇦方式之一🏛。相比之下，中国的🇬🇪石脑油🏍📧对于中东地区⏩❌的依赖🇧🇮🤽♂️程度相对较低🧜♂️🇲🇳。
这正是目🗃⛽前大型语言模型🇹🇷（简称🇩🇲♠大模型🍧👩👦，也就是C🚩🛍hatGPT、🇳🇱SAP是什么Dee🏴👨👩👧pSee👨⚕️✖k这类A🇴🇲💱I）在学🇯🇲习复杂推📵理时面临的真实困👫境🌐。听起来贵，但D♥🚍eepSee🥅🏺k做了🇬🇱fused👩🦰🥀 kernel🚭，再配合选🇨🇿择性r🙉eco🇳🇱mputatio🌎🤮n，实测📓🏊mHC🎹带来的*️⃣wall-tim🧔e开销控制🍡在over🥦lap🇸🇬🇦🇲ped pipe🐜💹line的6.👋7%☀🚑。
