（来源：上观新闻）
实验表明去🇫🇮🌒掉这个机制后，M🤱LE-👔🇬🇩Bench 👩🚀Lite的获奖👩👩👦👦率会下降⚖🏦近32个百分点💃。通过自注意力机✴🔙制，解码器🌮先让图片内部的特🥣🌜征相互交流；通💼🇧🇪过交叉注🥳意力机制，再让区👩🌾🔡域特征与对方图片🎴的特征🎪进行对话🎹💹。
然后对所有压缩后🚭的KV做d🔍🌰ense ◾attent🔱ion🤤🍤。尖端芯片的设计👩💼流程包含许多不同🧁🔥的步骤，🤷♂️🥐每个步骤的耗费👨🚀💌量都堪比一㊙个大型软件项目🧬👆。
这在理😇🕛论上很🌤🙇♀️美好，但实践🧖♀️中就会遇到🏋️♀️🇹🇴前文描述🎮的打分困难⏫😙。这在长序列里♈尤其有用，🌋能避免模型🦖被迫把注意🇦🇿🇹🇴力均摊0️⃣😢。这种对物理规🇦🇺律的理解，🐢正是零样本泛化的🇳🇵基础🆖⭕。
