（来源：上观新闻）
sparse 🗨att🚎😖ention不🏜🧝♀️是从头打㊗🚵♀️开，前1T to🎣ken用Ⓜ⏱dense🇮🇶 atten🇱🇰tio🔤n做war📉🈳mup，扩到64🐊K时才intr1️⃣🎵odu🐻ce 🍉sparsi✔🐂ty👼🇬🇲。微信有十🇨🇮亿用户，⏰但十亿里☦没有一🥣🤷♀️个 Agent🦑💦。
更重要的是，由于🇴🇲⚜每个插🇦🇲件只专注于🎀💙一种能力，🍞训练信号非常集🕕中，AI能🏜⛳够快速🌮、有效地掌👑🇵🇫握这项技🏂⚔能，而不会🇷🇼🏃因为同时学习太🧵多东西而🧻🎙产生混🌞乱🌵。结果表明，😯🏟在 KA🇦🇼🇺🇬DID-👲10k 上5️⃣，基于 PAND👨👦A 分数的排名准⏯确率达到78.8🐣🇲🇺3%，基于比💅🎀较关系的▶排名准🔳确率达到7🤓6.90%，超过🕘了同类开🍛源多模态模型（🉑如 mPL🚪👿UG-Owl🇲🇵2 的48.5🏚%、L🇨🇿LaVA-💖🚮1.6👩 的57◻🗳%、Q🐜🚛-Instru⚒☢ct 🥶🇨🇭的55%）💖。
