（来源：上观新闻）
对1M t🅱oken的📪🤹♂️序列，🗃原本需🕒🏴要at⛴🎞tend 1💇♂️🔕M个t⏲9️⃣oken，现🇬🇹🍤在只需要at😹tend 1🙍♂️👷024个压缩块🕖。而这种知识通常🇵🇸是人类设计师⚠通过经验积累的🏯。其次是 T🕊ransform💨er 解码器层数📯🇽🇰。”盖尔回应道🇸🇴。这个思路听起🏴来简单，但实🐻👨❤️👨现起来远比🔆表面复杂🚱🧒。
未来方向几条🔻，探索新维度的s💥🇮🇩parsity（🇰🇲🇯🇪点名了E🧟♂️🌇ngram那条⛎🐬线）、💋🦂低延迟🆕🇲🇷架构、长时🇧🇹🚺程多轮age🇺🇦ntic任🛷🏑务、多模💲🙊态、更好的数据🕟👳curati🎣on👑👨🎓。V4的⚜注意力层不🍴是一种🗞🚿，是两种交替使用📗的结构，C👨🍳SA（Com🧸👸pre⚖sse📞👮d Sparse🌯 Att🌨enti🇭🇲🥭on）和HCA（🚟🕙Heavily💉🎺 Com🇻🇪👩❤️💋👩pres🇧🇿😴sed Att🚣♀️ention💹）🇭🇲🦹♂️。
其一，这🏯🌿些模型在训练时🥈接触的🐂数据基本🍶上都是以整张图🗺🇸🇻片为单位🌞🚊的质量评估🇵🇳💂，从没有🇱🇨被专门训练过"逐🔢⭐区域分析🤼♀️🔘"这件🇺🇬🏩事🇸🇷。在模型架构上🇻🇦🕉，V4🚛🇬🇼-Fl🐞🧚♀️ash，43层，🗃隐藏维度40⏩🔠96🚍🐃。测试结果显示，在🕒难度最高的H🎹☝opper和🚡Mountai🍤nCar任务上🥦🐽，标准🚛PPO☂🙄几乎完全失败😜🤯，成功率停在接近🏄📨零的水平；而SP✈👩👩👧PO成🇬🇼🇪🇸功解决了这两☕个任务，成♦功率稳步攀升🗝2️⃣。
