（来源：上观新闻）
。因为V4把he🏴☠️🔲ad ⚔dimensio🇨🇬💟n c设成了🗿📛512（比🗜🏐V3.🌜2的128大得🏊♀️第三方广告监测多），如果直接把🧿所有head🐍🛫的输出投影回🥰d维会🥋很贵，🥅所以做了分组投影👩🔧🥂，把n_h个h🉐ead分成g组⛈🚾，每组先投‼☃影到一个中🥍间维度d_g🇸🇪，最后再合并投影🦠®回d🇳🇫🚺。同时，这种自进🇹🇩化还可能👨🎤♑带来更🇸🇧大的安全隐患🤗。这些需求🇲🇹🇵🇪一直都在，但🇱🇨🙂当下的科😇📯技，无论🍵💈是互联网🚗还是算法推荐，🔵🇮🇴都没办🇺🇦🇸🇲法真正回应🖲🔶它们☁⏹。
因为V4🛣把he🎃ad di🇧🇯men㊙sio🇭🇺🎳n c设成了51⛑🐱2（比V3.2🐻㊗的128大得多🚨🚋），如果🤫😎直接把所有h👩🚀🧭ead的输🕒🔗出投影回d维👩🦲🤢会很贵，所以🔓做了分组👓投影，把n🗽_h个head🍪😷分成g组，每组先🔵🌪投影到一个中🌹👨👩👧间维度d_g🌈🇮🇨，最后再合🥚并投影回🚸🅱d🚉👠。但这项研究的实验🎵结果表明，单纯增🐙加交互👇👨✈️轮次并✖🧔不能带来持续的*️⃣进步，因👨🚒🙅♂️为每一轮新✅的工作如果🥞💀不能建🇪🇹👩👩👧👦立在之前工作的基🏸础上，就只⚒☮是在重复劳动🚟，而不🇵🇾😥是在积累↪💹。
Engram（*️⃣😹条件记忆模块）🍯🛎：1月Deep🕡Seek联合北🥮🎴大发布🇶🇦。在几个对比方🤐法中，💦👑直接在🇰🇵🇧🇯目标环境里🇨🇵用强化学习训练🦐的模型😄🐋（GRPO on🦇🐃 Tar🗜get）能达🌦🇲🇹到37.8%㊗，一种使用通用🇨🇰🏬合成环👨🔧境训练🦈的方法（AWM）📀🥮能达到38.3️⃣🅰4%，而一种通过🇧🇾优化系统提🤰💙示词来植入🦓🕰能力描述的🧔🇸🇮方法（🥓GEP🎧🍢A）能达到39.🇦🇽🐝6%😤🕡。
