（来源：上观新闻）
晚点：M🐅🇹🇿LA 和 👨👦👦MQA🇦🇴♒ 的区🇨🇱*️⃣别是什么？🇬🇳 刘益枫：简单来🤧🚳说，MQA🌁🇨🇩 更接近原始多🔄头注意📠力（M🐞👻ulti-🦡👺Head At♑🇸🇿tentio🥓n）▶✌。报告中说，对于 🇨🇾🍮800×800🧙♂️ 的输入图像，其🇵🇦🇭🇺模型在 KV🧜♀️ ca🇪🇪🐅che 中只保留🎴大约 9🏠🌧0 个条目，👨💼却能在计数和空✈🇧🇦间推理等基准上取🤣得有竞争力的⬆表现🥟😒。晚点：mHC🥺 对推理框架的👨✈️影响是什么？ 🎅🥩赵晨阳：m🦛HC 把简单添加🥕残差这件事变成了⛸📃一个需要混合 G🕊🇹🇩EMM（通用矩🇹🇷🏇阵乘法，深度学🎀📵习中最核心、🌯👕最密集的数学🌯操作）和 🕐Sin🐆🎳khorn🎩 归一化的复杂操💦9️⃣作🧗♀️🤾♂️。
在 O🐏neIG🕖（EN, Z🎨🖱H）、LongT🚮👜ext（🏸EN, ZH♏🇨🇺）、CVTG、🕝BizGenEv🌥al（Eas🕓y, 📥🔒Hard）🍏和 IGenBe🔥nch 🙂上的预测延迟 v🔽🚟s. 🈂平均性能： 在🕉信息图基🥡准（B🇨🇬🌧izGe⌚🔱nEv📱🎥al、I⬅Gen🦈🚣♀️Bench）上的🆒💘预测延迟🇸🇪🇲🇼 vs.👩⚖️🇦🇷 平均性能🇫🇰： Se🐰nse🍞👨👧👦Nova 🧞♂️U1 🥣🔯的生成延迟控制在🗻🥿很低的水准线⛈上，同时🤽♀️平均性能明显领👁🦞先于此前同体量🚪的开源模🤲型🚋。这种认识不😏🥨什么是泛目录站群是自贬，而是人🇸🇰文主义在A💇🕴I时代🥉的深化：它让我🐪🆘们不再无条件礼赞🔦🎂本能，而是以😻清醒的态度去追求😔🇲🇩更完整的认🍨🎩知、更🔛🇵🇼有韧性的适🧩应，以及更有意义🚬🌭的生命状🚰态🍖🗃。
