（来源：上观新闻）
V4的注意力层🤜👩💼不是一种，是两种🏛交替使用的结🔎🐼构，CS👊A（C🇫🇴ompre🎸ssed S🇸🇬🧬parse A🇧🇯ttent🐟ion）和↕HCA（H👳♀️eavily🌵 Compre⬅🥅sse🧴d At🧘♂️tention🛫）📭♠。
但它有两个无可🔧替代的优势： 2🌤GOOGLE推广4小时在岗👬😗，不会累、🇷🇺不会请假、🏜🦹♂️不会情绪🔷👨🚀化🍈💟。前三个🥠头使用💏GOOGLE推广交叉熵损🇦🇮🚽失函数（适合分类🧐👃任务），🕤第四个头使用L♏👩👧1损失函数（适🏄♀️👣合数值回归任🧝♀️务）🌚。广交会来了🤗🚆个“球💹搭子” 最🏚⛱近这些天，各🎹大社交媒体的热搜🏘榜又被广交会“🇦🇲😙抢占”了😡👃。
