google review
(来源:上观新闻)
V4-F🇬🇮⛔lash的推理🦍能力与P💨🕕google reviewro接近,世界®知识稍逊,而在🇹🇩🎤Think Ma🎧🕊x模式下,性能可🇪🇬以大幅追近Pro🌰〽:LiveC👨👧👧odeB🇹🇯😅ench Fl🕞ash Max达🇦🇪💁♂️到91.6,C🇲🇨odeforce🦍s Flas😪h Max Ra🇦🇪🇼🇸ting达到🛥3052,与P🇸🇮🌨ro M🔝ax的差🗨👱距已相当有🧬限🕦。
V4的1M窗口意1️⃣味着,Agent✏可以在更长👨🌾🇲🇰的操作链里保持状🤧🐕态连贯,处理👵更大规模的代🇻🇳🤼♂️码库,跨越更🎶🦡多文档进行推理🤣。看着屏幕上元宝💝给出精✋炼总结,你感到🧚♀️🇹🇹一阵莫名的🧣google review满足,觉得自🎖🇬🇩己已经充分🇪🇦驾驭了最前沿的🌧 AI,但🥞🏴你有没有想过🍋🇵🇳,在这个看🐃🎨似高效的过程中🥔,你的大脑像🖼🥒温水煮青🤢蛙一样慢慢「退🎺化」⛏。另外,V4最🏸🐊核心的技术改🤐😞动,是在注意力🌓⏺层💿🔵。
V4的做法是把🚬注意力拆成两🏅🕞种,交替叠用:🏓🎃 一种是C🌟🇺🇳SA(压缩稀疏🧚♀️👸注意力),先把🐋每若干to🇷🇴✖ken的KV缓存ℹ🇮🇪合并成🙏🌂摘要,再让👨💻🐚每个query只🛫📀在这些摘要里挑选📝🤫最相关的top💛-k条去算🕠注意力——相当于🙄既压缩了“要看🇨🇼🚖的内容”,📶又只挑“值得🌔看的”去算; 🏎另一种是HCA👵(高压缩注意😴🇹🇿力),用更激进🧱🈹的压缩率🦟♠把更长区间的t👝oken🏴合并为一条,但保👨🚒持稠密注意力👨🎨。