（来源：上观新闻）
在后训练阶段🚓🇸🇸，V4这一代🍍做了一次方法论🇨🇷替换，传统的mi😌xed RL阶⚰段被On-Pol😩🤽♀️icy Dist❣🚛illa🇸🇹tion（O🚱🕴PD）完全替代🕓。我们认为这是🌀🆗由于 LL👕🌑M 的预训练和🍧🏡后训练中都存♌在大量软件代码造🛒🦕成的🧰。这个难度设定😵是为了配合后续的⚜👞强化学😪🇾🇪习训练机制♌🧙♂️。过去二十⚛👣年我们为🈴🥿人类造🐑🇲🇩的那一💙🥋整套互联网基础🚏设施，Agen🇮🇹🔏t 基本用不上🌊。一个很💧简单但很实💄🙁广告投放靠什么盈利用的 🇧🇻↩Case🇦🇨🤓。AI科👩⚖️🤯学家正🐚是按照这个🕕🛒逻辑构建的☸〽。面对这一困🍝🚟境，另一个流行🇦🇮方案应运而👨💼♋生，叫做GRP🇰🇪O（群组相对🌼策略优化）🦖🤧。
3月初，🐍🦙一部号称“3人🚆团队、80集、🌃48小时完🇨🇭🥊成、成🇧🇯本仅3000元🤧、播放量5亿😉🔱”的AI仿真人➕短剧《霍去病》🧿引爆舆论，很多人🐛以为普通👩👩👧人逆风翻盘的机♏🙇♀️会来了🥡。“原来做产品的节✌奏是设计、产品方🈳案、开发、上👩👧👦线、用🇯🇲🌪户反馈🔢⌨，流程下来可能要📶一两个月🖥🕐或更长时间🇧🇴🐬。更让人心惊的🏴是，很多群演👨⚖️🐿现在只能收到“买🦂🌷脸”的消🇭🇰🌯息，价格从🎭🌮500元💯到1500元不🐜🛢等，有🕧↕的群演会因为缺钱💹🇸🇿而选择“卖脸🌜”，演员🗡😸群摇身变成脸模🚍群🇱🇹🖼。
