（来源：上观新闻）
你们怎么⚒🇹🇹理解 V⛷👨👨👧👦4 的🇬🇷整体架💄🍨构思路？ 赵Ⓜ晨阳：V4 整体💨👩👧保留了 🦆DeepSeek🐠🐡MoE 👛框架和 M🕯↘TP （M🇦🇽🧸ult😌📭i-T🍃🦄oken ⬆Predict🤖ion，即 “多🇦🇱 tok🧓🇰🇼en 🇬🇱🌬预测”，允许模👨❤️💋👨🍺型一次性👩👩👧🔠预测多个🏪 To😴ken）策🇲🇲略，但在四个层🚳面做了改造：🇱🇾💙注意力，用🇨🇨🏵了混合稀疏🐛注意力；残差，🈺🇪🇺使用了🇰🇷 mH👒C；优🚵🏃化器，在这么大㊗🦄的模型🇫🇮🏋️♀️规模上使用了♋ Muon🏜👒；以及 inf📙🤒ra 的变化，📰👓其中两个关键😊词是 T📦🙆♂️ileLa🍟↩ng 和 F㊗P4🇧🇻📃。
DeepS😑⚙eek-V4🏟 在前🌚📜几层 Mo🎶E 模型中引入的🇨🇮🏪新型路🧢由策略🚕。茶餐厅那场聊天快🌶📢结束的😉时候，♿我朋友说：🐽👃“我们🈁🧬现在用 AI，其🇸🇪🤳实就是在用一🧔个放大器🍿🖊。私域与公域🥭🇪🇨的界限不能混淆😆。晚点：R1 🐝👩🦰当时爆火💧的另一个原📅因是，♥它以开源🕑🇸🇽方式验🔟🌛证了测试时扩展（🏣🤸♀️test-t🛫ime scal🎺ing）的新🇦🇮范式🇨🇱🐟。据此前媒体报🛤道， 📗中兴通讯和🇲🇬三星的纠纷源🇸🇨于20🔍🖊21年📟👨👧达成的专😡利许可协议🛳到期后未能就续🌔约条款🤱🧵达成一致🕶。
