（来源：上观新闻）
但这不只是又一个🐆🇲🇸模型性🐷能突破的故事，真🚰🎤正深远的变📷🏉化发生在🥵算力层🇪🇬🤠。同时发布的有两个🌙版本：V4-Pr🗾o 总参数 1🍻📦.6 万🕯亿、激活 🇳🇿🗃490 亿；🇬🇩V4-Flas🦠h 总参数 2ℹ840 亿🍔🚟、激活 1🍦🗨30 亿；⛅🇨🇻二者均🚍支持 100🇹🇿 万 t👩👩👧👦oke🚍🇦🇷n 上下文窗口♉💡。
我们团队为接入前🤖缀缓存📯🏃和投机解码做了大🥎量优化，👨🎨🇳🇫拿出了 Sha👨💼dowRadix🕌🥂、Hi❎💏Sparse C🚴♀️PU 扩展 🇯🇲KV，并完成🔤了英伟达 Hop🐜per、Bla💛🤱ckw🎤🥚ell、Gra🚋🎱ce Blac🌩🧰kwell、A🧫MD、NPU🧘♂️ 的全平台适🇲🇶配🎡👄。
晚点：MLA 和🐶🇻🇪 MQA🐯 的区🤓🕘别是什么？ 刘益🇦🇷枫：简🖱🚗单来说，MQA 👀🌿更接近原始多🤫🦟头注意力（Mu🚻lti-Hea🦍d Att🍚🦕entio🙍n）🇴🇲。受存储芯片价🥑格上涨对手机出🧩货量的🚴冲击，👨🎤本财季🇫🇮🐮高通的手机业务销📬售额下滑了1🔬🚰3%，为60.2🍺亿美元🕋。
