（来源：上观新闻）
晚点：🐺这套新的注🦌意力机制对🦚 Infr🚣🏺a 的影🍕响是？👬 赵晨🇨🇦阳：改动还是挺大🇨🇬🦁的⛹️♀️😻。你们怎🍩么理解 V🥔🎢4 的整体架构思🕓路？ 赵😠🚩晨阳：V4 🎴整体保留了🖱 DeepSee🇫🇯kMo🇬🇩E 框架和♨🕶 MTP （Mu🇳🇪👋lti-To🍊🇳🇴ken Pre🚦🛵dict🇻🇮🇹🇨ion🇮🇷🔌，即 “多 to🇫🇲ken 预测”，🌤允许模型一💢🇪🇷次性预测多个©🤛google review Toke👨🎓n）策略，但在👩🦱💠四个层面做了改⛎🐘造：注意力🇺🇿，用了混合稀疏🇺🇸注意力；残🧠差，使用🐐了 m🇸🇷🛌HC；优化🐴🌧器，在🍝这么大的模型规模🥌🇱🇺上使用🥒🇸🇹了 M🗞uon；以及⏪ infr🧯a 的变化，其🐩🇱🇦中两个关键词是🇩🇴 TileLa🇨🇴🦓ng 🇬🇦和 FP4⤵🤛。
适配过程中，有🈹🕴哪些对 V🇨🇵😠4 变化的观察？📰🧫 赵晨阳：Dee🤞pSee↖✴k 仍是 Inf🕝ra 的巨鲸👞🗑，每年他✡们发布都会为 i⚫🇹🇳nfra 优化 🏙“续命一年”🤸♂️。华为自己也在C🌱ANN🚬平台上推出了新🏏🗼的编程工具Py🈁PTO🔲🐝。对比半年🇳🇱前主流闭源模📢🎸型的单价，这🚵♀️是一个数量级的😠差距🇸🇰🦌。它不再逐个 🧛♀️🏺token 生🚶♀️🥩成，而是一🅰👩🌾次性 “猜” 出🇱🇹🏴多个未来的 to👩👩👧google reviewken 并交由主🌃模型批量验🛥证，可大幅提升🍦速度🖨。
