（来源：上观新闻）
V4的做法🤷♂️是把注意力拆成两🖍种，交替叠🇸🇦用： 🇦🇼🇨🇵一种是CSA（压📯缩稀疏注🔺意力）👨🦰💶，先把每若*️⃣◼干toke🇳🇪📳n的KV缓🏳存合并🇨🇳👨🎤成摘要，再让🇱🇺🏹每个quer🇹🇹y只在这些📴📸摘要里挑选👨🥋最相关的t🙃op-k🐲🔌条去算🧂👩❤️👩注意力——相当🐧于既压缩了🧜♀️🖐“要看的内容🇩🇪”，又只挑“值🚋⛹️♀️得看的”去💔🇹🇫算； 另🥇🕖一种是HCA（📭😵高压缩注💱🕺意力），用更激👖🍡进的压缩率🌻🎲把更长区间的to🎎ken🇧🇮🇲🇵合并为🇦🇺🕛一条，但保🇧🇻⛽持稠密注⚪意力🧘♀️。
对于未来五年，我🐵们有着宏大的目标👶。根据网友爆料，🇴🇲🌕这次最先🍤支持国🇸🇷产硬件训练🥵🐙的是 D🌳🎏eepSe🇹🇬🛸ek V4🧘♂️🇰🇳 Flas🚧h 的后训练过程🎛，基于国产硬件的🏉预训练也〽☣有望在今年下半🇯🇲🇩🇿年实现💴。但企业AI这场🇹🇻仗，绝不会只👩👧拼模型🛑。东方证券也指🥑🌖出，光刻☀胶在晶👨💼圆厂的🍸🇹🇰验证需经历光刻⚽胶性能测试、小🐠🇰🇳试、批🤸♀️🔫量验证及最🐅👨💼终通过验证四大流🥯程，周期漫🦒长👵🦀。但幕后👽☯主创团队很快出面😪澄清，“📊3000元仅㊙为算力成本、团©👉队实为20🇨🇵📝人、作品只是两支🤜短片”🐙。这些年来，🍙双方合作💐👩💼不断深化拓展5️⃣🧷。对于牌桌🔃上更早进场的🌑♍其他玩家而言㊗geo优化怎么做，经过一年🥋的调整🔥🇧🇾、加速，几乎🙈🐁所有厂商都⤴在模型赛道🤙，找到了差👣异化的身🍣位： 字节和🧛♂️🦢阶跃星🇲🇺辰聚焦🤵🇬🇺全模态；🦎🐜月之暗面和智🏴☠️谱打磨Cod➗🇭🇷ing和Agen🥮tic能力😪；Mi🎽niMax保持😒🌵语言模型不掉队的🎊👩🎨同时，突出视💁♂️🕡频生成模型的优🧺🥔geo优化怎么做势🤖。
