（来源：上观新闻）
一些细节微🚑调包括，affi🐹nity 🧟♀️scor🐯e的激活函⚔数从S🐪✳igmoid换🇹🇩💲成了S🤺👵qrt(S🛵oftplus(🕑·))，🥇去掉了rou🤲🧠ting t✨arget n↗🦹♀️odes的🤣🌸数量约束，前几🏴层den🥾se FFN😨换成了用Ha🧙♂️👴sh rout🗑ing的👇🎯MoE层🚇🇬🇱。
测试结❓🛴果显示🙏👨❤️💋👨，在难度最高的🚨Hop🇭🇲⛵per和Moun☸🧪tainC🍅⚰ar任务上，📴标准P👲🏃PO几乎完🇧🇱🐦全失败🅱💟，成功率停在接💟🇾🇪近零的水🌨平；而🇨🇵SPP📓↖O成功🇩🇪解决了这两个任😺务，成功率稳步攀🐱升👆💗。Hard级别中，🙉两张图的每个区域👨👨👦👦😢都可能有不◽同的失真类型和🔌严重程度，🚻👏需要逐区域精细分🌂➡析，是最具🍊挑战性👩💼的场景🙎🌻。我可以把同事，🈺🚉以及他们的虾都拉🐾到群里🇩🇴🙋♂️。
这也是很📁多用户体验后🇵🇫🍘的感觉🎂😴，“依然会忘事👨🦰📱儿”🙉🏕。**一、训练A🈹I推理，👶为什么这🥣么难*🇲🇻™* 要理🧷解这项研究🔖🧘♂️的价值，得💂♀️先弄清🌡🥝楚AI推理训练🥴的现状🔀。为了补偿近🇻🇺🎴距离依赖，V😂👩💻4额外加🏀了一个slid🏳🇲🇻ing win🛹dow分支，每🤦♀️🧺个qu👔ery除了看🦅压缩KV之外👳🏋️♀️，还能👩👧👦😧看最近1🐽28个🦝😼token的un👒compress⚖ed KV🎯。
