（来源：上观新闻）
你们怎么理解 🛵V4 的整体架构🎵💫思路？ 赵晨阳🏐：V4 整💂♀️🛄体保留了🗨🏊 De🎹😨epSe🙋♂️🥨ekM🛰🏃♀️oE 🔲⏬框架和 MTP🕑 （M😍🏨ulti-T🦌oke🎞n Predic👩🔧🇳🇮tion，即 🐅🚀“多 token🇲🇳🉐 预测👩👩👧👦🇹🇫”，允👯♂️许模型🆙🌙一次性预测多个🔛 Token）🇹🇫🗑策略，👆但在四个层面🤲做了改造🈶🦁：注意力，用了混⛴🐛合稀疏注意力；🇨🇱💡残差，使用📶了 m🤷♂️🥶HC；优化😶🏚器，在这么大的模♠型规模上使用🕡📄了 M🕊uon；以及🧛♀️🕎 infra🧡 的变化，其中两🇲🇬个关键🏁🀄词是 TileL🥢ang 和🇧🇴🐉 FP🇦🇷💝4🖊🐋。
这个方向更危🇦🇪险🥅👨👩👧。其年报显示，20➖🤘25年该👡公司液冷🕑⚠系统及产品销售收👩👩👧👧📜入为2.25亿📦元，同🏘比增长🇲🇦77.76%，🦌但其全🕳年归母净利润🗼🇹🇯仍然亏损2491🚼📚万元🇨🇱。关于从💕字节 See🙎🥚d 提出的🧚♀️🥦 HC🀄🔑 到 De😗epSeek➡ 的 mH2️⃣⚒C，再到 K🤵imi 的🇹🇨 Atte☄ntion R🧀🎍esidua⏏🚵ls 的讨论，♎SAP是什么还有 Kim🦎🔡i 和 D👝📮eepS🏆eek 围绕🇵🇷SAP是什么 Muon 优🇸🇨化器的改进🇳🇪，又或者👺♠是 D☀eep🌐Seek 对北大🌄🦸♀️团队开源的 Ti👩✈️leL↕ang 的☠🙅♂️深度使用……这些🇹🇬🧙♂️成果相🐤🕊互联系、🏏😊彼此激发，鲜👡🏸活地刻画了，一定🆖的人才🚽😑密度和竞争烈🐟📌度后，开🍴🔳源模型社👝区在正🚠🖇迸发怎样的进☢步与质变🏓🚒。
也可以通俗理解为💸，AI每“🧿🇲🇲看”一篇文章并🌺🐥做一次总结🇱🇻，就会产生一次©🆙运算成🆙本，服🛄🎩务商则按次收取费♠用🇮🇨😙。更值得注意💚🐗的是，英国法院🥢SAP是什么自己在审理“O🥂⛪ptis🐂 VS App🐝le”案时也🎠🦶曾使用Top-🍆down进行交↪叉验证🐞。减少存🈂储位宽☢的好处是🌳减少峰值➡🧜♀️算力，同时提升🔉🛋显存容量和数据读🇪🇺🇪🇦取效率🤝🇵🇭。
