（来源：上观新闻）
V4的注意力层不🐝是一种，是两种🍠交替使用的结构，🇦🇿☔CSA👯（Co📣🎂mpresse🙌🌴d Spa♉♨rse🏊♀️🏃♀️ At🎈tentio🎪😜n）和HC👨👨👦💁A（Heavi🇮🇸🇻🇦ly Com🐩pressed📋🌵 Atten🗨tion）🇻🇺👁。过去三年的趋势💆♂️🇰🇭非常清晰🐵🆎。
与上一代📉Ironwo➕🚵od相比，🐜TPU 8🦠💧t和TP☯6️⃣U 8i🏓在单位功耗👩🎤🈸性能（p🚧erfo🥪🇪🇬rmance🇸🇿-per🏄🕟-watt🍰🍁）方面最高🍪🍷可实现两倍🇨🇾以上提升🇸🇦。” 在创业过程中🏰，姚双也深💋刻感受到OP😑C模式🍉⏫的隐性成本👇🇸🇴。--- 三🛰、"薄控制、厚👕♏状态"🇱🇮🇬🇮：一套听起来奇怪♠💇♂️但非常有🥐🥏效的工作方式 🇮🇸☺研究团队用一句话🇸🇲🎸概括了AI科学家😗🚽的设计核心：🗯"薄控制，厚〽状态"🎎👩❤️💋👩。
在受控对👸🇦🇲比实验中🇧🇷，AI科👑学家使用两🇹🇭种底层模型均达到🔛了81.82%的📨任意奖✋👺牌率，分别比最强🇮🇶👨🔧对比系统高出4↔☹.55和👧🔖18.1💧👯8个百分点🇵🇲👩🎓。这种方式不需要🇫🇴🇸🇮事先标🇸🇸🐆注"正确😱⌛答案长什么样🕟🚬"，只需要能判🐱断"答案🇰🇿👩👩👦👦是好是坏🎵🇨🇼"，因此非常适合🇩🇪复杂的🇲🇦多步骤任务🇻🇳🐘场景🔜🎶。这种"轻量🥧级但高效🛎👨❤️💋👨"的特↙性，使 PA🖤🇬🇭NDA 在实际应🏞🇮🇱用中极💓具吸引力🥋。
