（来源：上观新闻）
V4-Pro，6⛰🤓1层，隐藏🎩维度7168⤵。因为KV ent🏌ries☃既做ke🇨🇴y又做val☪ue，naiv😆e的RoPE会↖让输出🌈带上绝🌈🥞对位置信息，👽所以在outpu🇨🇩👏t端也对应施🧟♀️加一个位置为-💾🌄i的Ro🧧📅PE来抵消，2️⃣只保留相对位置🇱🇧🌬信息🇪🇭👩🦰。比不上 Opus👨🔬 4.7，但我觉🍇🇪🇦得是目前开🀄🆔源阵营🦕🤣的 Top1👳。
（5）🐮🅿平衡探索与速度 🎷🇳🇱芯片设计空间浩瀚🗞📕无垠🍟。王潜坦🦊承，当前模型🌾🇺🇾仍处于🇧🇭🚔“实习生”阶段，📚🎀需要远程协助，🙇♀️🇫🇰有时可能🇷🇴把拖鞋放🥩到厨房、擦桌子擦😒到一半停下来“🧝♀️🔰思考”🇨🇽。
