（来源：上观新闻）
这种"回🕸归均值💅"的行为实际🧘♀️❄上对训练是🇮🇸💝有益的——🍴❓它不会因为🏈过于自信👨🔬🏜或过于悲观而产生🌚📌扭曲的训🍙练信号，🍦🇸🇾而是始终👩保持一种适度🗾😪的不确定性，🇧🇦让真正的"超常🇲🇴发挥"和"®出乎意料的✍失误"都能😹产生足够🗻🛩强的纠正🧞♂️信号🕷🇯🇵。
所以大家✔意识到，多 Ag♠ent🍤 不是要🌘不要的👳♀️问题，是早晚🚊👴的问题🇦🇫⏏。第三是"功🍀🔃能性比较"：🦹♂️🇳🇦对于每一对对🐣应区域，有且👩🚀👓仅有一条比较关系⚪🐸，不允许出♈🥬现一个区📌💭域对应多个比较结😀🐒论的情况🦑。
在标准👩❤️💋👩🤷♂️PPO中🧧🚶♀️，那个"打分员🌀👩👩👧👧"（C🧂🏤ritic🚴♀️🔮）通常和被训练🇮🇷🔠的AI模型一🎀🍝样大🚣。每m个tok🌅en的KV en🤗tries，通过🚠一个带学习权重🚦的at👩🎓😭tention🇸🇯🔣-li🧤ke机制压成🇸🇻一个🍸。
