（来源：上观新闻）
一些细🇱🇻节微调包⛸括，affi🚹nity s🗝core🥥👨🎤的激活函💁♂️🇷🇺数从S💵👒igmoid换成🎫了Sqrt(S🙋♂️oftp🚔🛹lus(·↙))，去掉了🕓routi🇨🇬ng tar🐲👱♀️get no🚦des的数量约束😯🇨🇴，前几层dens🍿e FFN✳换成了用Has🍠🇯🇪h rou🐏ting的Mo🐮👩🦳E层🇵🇭。
他们的📈📡理由是，🙎5️⃣V4的注☑意力架构允许直💽接对que📻ry和🏳KV做RMS♟️👩👦Nor♎m，从源头👨👩👧把爆炸的可能🍂🖇压住了🇰🇾😗。“大象终📹于被正视了！”另🍼一位员工评论道💕。” WALL👱🇩🇪-B不是终点😏，甚至📕🦎不是“第二个版本✋”🥼。Sora 的🇦🇸退场或许令人惋惜🏣☘，但 GPT-💄❄Image-2 🏪🙄让我们看到——O⏏penAI 🏉🦝正在集中火力打🚠造真正能够融入🏊工作流的🛵🦚生产力基石🗨🧬。
