（来源：上观新闻）
避开DeepS🇹🇹🦸♂️eek，成了近🏯💣几个月模型厂🇲🇹商的标准动作😲👩👩👧。爆款标题平均🧴 18.➖👧8 个字，比普通🔗标题短了将近 🖲10 个字⏱🇷🇺。超节点🖌🇱🇺的概念就是英伟🛠达提出的，老黄💫♐也做了相应的🌴🇵🇲布局，NV🦎🇳🇨L72 🥰🏷系统把 72 🏠👨👨👧个Blac🚰🎐kwel🥢🖲l G🏜PU 集成👞🕳到一个🇧🇶🔮液冷机柜中，达🔉成了约👨🏫 18⏰🇨🇫0 PFLOP👓s 的 🧐👨🏫FP16👜🇲🇵 算力👩🚒。
V4的做🇳🇺法是把注意🍙力拆成两种，交🐣🕹替叠用： 一🎻种是CS🏚🧙♂️A（压缩稀🤛🎍疏注意👷♀️🌌力），先把每若✂👜干to🇳🇿🕡ken的📰🔀KV缓存合并成🇵🇦➡摘要，再让🎇🔗每个q💑uery☸😦只在这些摘要里🇹🇫挑选最相关的t🌉op-k条去🍇〰算注意力🔑🏗——相当于🚴♀️👨🍳既压缩🗝🇸🇰了“要看的内容♿🎛”，又只挑⏳“值得看的”🗄去算； 另一种📳是HCA（高压缩🇧🇦🗻注意力），用更💥🥨激进的压缩率🇫🇰🎙把更长区🇧🇱🖖间的token🔁合并为一🇰🇬📦条，但保持🤙🔂稠密注意力👨🦰👴。
