（来源：上观新闻）
然后对所有压缩后🖍🇴🇲的KV做d🚆ense att🔏🥬ention🌕🤰。他们的理由是，V👄🗳连接蜘蛛4的注意力架🍺🌄构允许直接对qu↖ery和KV做R💢MSNorm🔪，从源🔄头把爆炸的可🎤能压住了🇨🇬。”刘思行😏说😻。这就像🇹🇫😌从"这道💠🎙菜整体还行"变🗻🇳🇴成了"这道☯🇨🇴菜的汤底很🐊⛩好，但肉有点🉑🔎老，配菜火候不够🇹🇹🎛"的专业🧺🏄♀️点评🏝🎱。这些需求一直都🙋♂️🛤在，但当下的科🐳技，无论🚞是互联🧦网还是算🌺法推荐，都没办法🚬🔜真正回应🔈🆎它们🥫🇦🇱。研究团队🦍🌙做了一个生🤔🐞动的实验，☪📌把同样🏋️♀️两张图片同时喂♉😌给当时最先进🎆的多模态语🔂言模型 Co-I🇫🇰🤽♂️nstruct，🚵并提供了每个🇳🇬♠区域的🐎名称、描述和边🇲🇵📴界框坐标，请🔠🚫它回答每个区域的⚰质量情况🇵🇳。
在没有上手用👩👦🧦这功能之前，我👩🚀其实觉得它就是🌤🚅一个 Agen🇯🇵🥮t Team 🈹的翻版，🛏但真正放到群聊的🐟🔁界面里✝，发现还是有🧭🇲🇲非常多的惊😠➡喜🇧🇾🤷♀️。每个生成步骤🍷都伴随着隐👩❤️💋👩➗式的“👁️🗨️布局图元👨✈️”与“语义校验”🐌，模型会先🇺🇳🇸🇨画出逻辑骨架👷（标题🥋👳区、图表区、插图◀🌫区），再逐🙁🕢层填充细节📼。V4-Pro👨🌾🎫和V4-🍷Fla🙏sh，1.6🇦🇷⚡万亿参🐌数/2840🔂亿参数，😨上下文都💧⬆是1M🇸🇿。但装这件事每♣个人都得👴自己操作一遍，几🏮只虾还好，👦⏲人一多就很折腾🔺🇸🇪。一些细节微调包括🚄⏸，affinit🍽🥬y sco🔢🎍re的🇳🇷激活函🚨😞数从Sigmo🖖🕒id换成🔙了Sq🚇🇩🇴rt(S✌oftp🇻🇪🔴lus(❓·))，去掉了r🕶outing🇦🇽🇳🇬 target 💠👨🍳nodes的📪🚒数量约束🔆🚦，前几层🥀den🕜se FFN换成📤💹了用Hash 🗂routing🛁👨🦳的Mo🍢🐼E层🎰。
