（来源：上观新闻）
高了没人💂♀️买，低了又亏🎰👢。假设他们🧵👆现在采购了昇🏫🛬腾服务器，部署🚡🤷♂️了 De🇻🇦epSeek🕳🐦 V4——模🗡🗓型的代码生成质☔😗量会比之前那🕓个半年前的老模型🖱好得多，🌇但那个九年前的财🧸🛣务后台系统里🛥散落的隐知识🔜，不会👩🇧🇧因为模型换🔲了就自动消失🏙。晚点：正好😯🚲这几天正在开 I👩🚀CLR🇧🇹 （国🍔🇧🇦际学习🇮🇸表征会议，🗿Int♣🌳ernation🎟🕣al Confe🤦♀️rence🌫🤟 on Lear🍋💼ning Re⛲pre🎥🏴senta🍖🌥tions，🍎AI 顶🎂会之一）， 🔚大家在会🍳场是如何讨论 🏞🧙♀️V4 🛤🍸和同期进展的？ 🐫〰刘益枫😀📟：有意思的是👵，V4 💬放弃了从🎦 V2 到 ⚱V3 使用的 M🇧🇿LA（注：多🌌⛅头潜在注意💲力，由 De👨👩👧👦epSeek 📵提出），而🐾🌚目前 K🤦♂️ 2.6、🧶🇨🇿GLM-5🦸♀️.1 等模型依🔙🇧🇮然采用 MLA👆。
第三层：中间🕓机制——校验、反🤽♀️思与交叉验证🌧。Dee🤨🏸pSee🇷🇺k 这版做了🌩👨很优秀的 P🚤🐩D 分离（P🎐refill❄-Decode🕳 分离，将计🍢算密集的预🍛🏝填充阶段🚴❕与访存📐🇺🇿密集的👩🏭💩解码阶段分配🕋到不同硬🈚🇦🇺件以提升整体🌘吞吐）、✋MTP 等工作🚋。注意力机制：🌯📡CSA 和 H🏨🕶CA 如何组合工👇🤶作 晚点🇦🇮：2025 年年🦵初 DeepS🚤eek 🇻🇦提过 NSA🏝（原生稀疏注意力✴👩👩👦👦），同🍽年 9😶 月又在 V3🕳🇲🇺.2 🇫🇰🚽上用了 🏏🥂DSA，这次则🤼♀️是使用了组合💚🤾♂️ CSA 和👈🈺 HCA 💐⏺的新的混合👨🦲注意力机制😯。） 北京🤣🛎时间 😨🎊5 月 1😿 日 19 点，↙Chatbot 🏃♀️⚰smc中国有限公司官网Aren👺🇫🇰a 的排名👑。
