（来源：上观新闻）
蒸馏的话，之前 🐖Dee🤜pSe👨🦰ek-V🧕3 和 👋R1 都实🐊践过，但 V👩🦲🎤4 是先🇳🇷训练一些小专家🚩😘，再把这些🍰🔧专家学到的技能☎蒸馏出来，节省🇵🇷参数量🦀🕡。这是 V👻3 时代不需🇧🇴🇬🇸要解决的问题📮🐓。“支撑我走下来的🤱✖，首先是团队👻伙伴们的信👑任，大家没有🤜因为长🚹⛴期埋头苦🆎🇭🇷干而动摇🆕；其次是我对‘安🇻🇪📄全是产🎓业基石’这个判🛤断的坚🙌🍵定信念🏏🎥。
而 V4 放☁弃 MLA、🤳😑重回 M🐴⚪QA（注：多查🕐🇲🇰询注意力 Mul🇬🇭ti-Quer▪y At🇸🇩💌tention😁🇵🇷，是相比原始注意✴🚪力更低显存占🛋🚒用和更低推🏐理带宽的一种🦚改进），这说明🖇模型架构还有很大🇵🇾改进空间🐞🚵。作者 | 周云🇧🇿龙 编辑 |🇸🇾 蔡芳芳 编📔者按： 过去一年👈😉，企业 AI C🕵oding 的讨🇳🇵论往往集🚾🔤三微一端是指什么中在模型能🗻🧘♀️力、部署👛成本与合规约束上💒🏒。
