（来源：上观新闻）
原因在于🧞♂️：如果股🌛价突然下跌，😝银行可能被迫抛💭🇧🇬售作为抵🥊押的股票🎪🇵🇭以避免损失，从而🇲🇻🥀引发连❣锁反应，进一😻步压低股价，形成🇵🇦🍧“下跌螺旋😙🕊”⚱🥇。因为V4把hea📅d dime‼nsion🇮🇲 c设🦗成了512（比V🧙♀️3.2的128🌌👨🎤大得多），如果🦊♎直接把所🛣🦔有he👩🔧🌖ad的输出投影回😏🚻d维会很贵，所以🔻🧓做了分组投影，把🍲n_h个he🇻🇮🏌ad分成g组，每🥍🈹组先投影🌟到一个❗中间维度d_g，🎶🎅最后再合并投影👖🔁回d🛩🇳🇫。
这背后的原因👩🍳有两个💸。结果出👩❤️💋👩🧡乎意料——这个👹👮"小个子"价🥉值模型不📸💩仅能正常工🎞🐵作，而且这个组🧷合在所有测🏆试基准中🇰🇾取得了最高🛎🤟的平均分🖇。第二，🇫🇰设计hybri🥊d a❄ttention👏架构，CSA🔄🤽♀️和HCA😸交替叠🇩🇬加，解决长文效率🔬问题🐩。
