（来源：上观新闻）
他们随机抽取🇮🇨了200道🙋📮题目，让👨🦰AI多🈵🌊次尝试每🎰道题，用实际答🗳对率作为"真实难🙊😛度"的衡量标🔙🍜准，再与◾价值模型的🤼♂️预测值🇮🇪做对比💼。百万to🍦ken不是一🌡个新的能♥力，是同一个上😶下文窗口被压到👮♀️可以承担的成本☀📶。
由于单次流☄🙍♂️片的成本可能高👷♀️♿达数千万美元，因🎎此在生产👨💼🕟过程中“修复”缺☝陷是不可接受的🧯。实验结论 在实🙁验部分，有▫🛐三件最😏值得说的事🛎。它只优化2D参👩👩👦数矩阵，其他参数🤒（embed😈din🈶🏄g、pred🥬ict🎻ion💕🦁 head、🐄RMSNorm🌂权重、mH💈🤙C的静态偏置🇹🇹🇯🇵等）还是👨✈️走Ada🏎mW🌋🎶。
借鉴O📝🔸penAI和🗃🦜Stre⏪🇮🇸amingLL🤾♀️🙇♀️M的tri🚫ck，👞🇸🇭在atten🚬tion🤛分母上加一个l🦴📀earnable⤴ sink 📩😯logit，允许📯😈att⚜🧟♂️ention s‼core总和🛢不等于🖕📊1🙍♂️🦏。成不成不知🥕🐮道，但方向🖐🤵是对的👩🦱❎。这一定位意😤味着，🗞🎯这项研究填补🕘了一个明显🇦🇿👆的学术空白，并💌👨🍳为后续👁🚂研究提🇬🇧🇮🇷供了一🇧🇻个清晰的评估框🍯😼架😭。
