（来源：上观新闻）
AI助手先😂↕在目标场景中实🇦🇫🌼际工作一轮，积累😆🕰一批成功🚩🤨和失败的任务🌿🧫记录🗝。Pro有🚑61层，🐧Flash有4🌩3层，CS🇦🇸🌭A和HC🎶🍪A一层📚一层往上🇪🇷叠🍁。Q3：TRAC👨🌖E和直👨🔬接在目标场景里做🧚♂️强化学习训练有🇲🇲🎃什么区别？ A👨🏭🐻：直接在🧳目标场景做🇧🇼🌏强化学习（G🙆RPO on 🗞Tar🧶get）训练🧩🔓时，模型🧥从任务整体成功或🏖失败中学习，无法🇳🇨🐺精确归因到某🎎种具体能力，🧫🆙容易陷🤢入不稳🇭🇳定或过拟合🙍😠。
机器人📊😐本身只是载👦🆘体，于👯♂️行业而言，真😭正创造长期价🤳😠值的，是它不断进🚞化的能🐌力，以及由此产生🍶的数据资⛪🇸🇻产；于用🏞🔭户而言，是每👝👩🎤天实实在在完🚉成的各种不👫同的家务活儿🇯🇵。
**七、价😦值模型学到了什🍕么** 研究🦕团队还专🇮🇩🇰🇳门分析了价值🇺🇿模型的质量，🕹🔜因为SPP🐾O的整个机制💸都依赖🇲🇪于一个⏪能准确🙍♂️🛄预测题目难度⚜的价值模型🎶🐠。V4的做法是🇧🇿teac☠🛌her💾权重o🤸♀️fflo🤸♀️ad到分布🆘式存储按需加载🇸🇾🇧🇫，只缓存hid🧚♀️🔝den stat🐄es不mat🌚eriali🇹🇲ze logi🐭ts，按te🍔ach🧝♀️er排序样本🦶保证每🍗个mini-ba🤦♀️🦚tch只加载一🗾个te🗄ache🛹📅r he⚫🚏ad🧂。
