（来源：上观新闻）
一些细节微调包括🇹🇴😰，affi🇯🇪💫nity sco➰🧗♂️re的激活函🇦🇽🇬🇭数从Si🏳️🌈gmoi🍪🍲d换成了🔢Sqrt(Sof👨🌾tplu🇻🇦📃s(·))🇬🇬😈，去掉🧟♂️❗了rou👩👩👦👦🧼ting ta🇵🇬🇸🇧rget n🙏💪odes的数量约👗束，前几层d🇮🇩ense FF🇦🇿🌞N换成了🚋用Hash 🕯📌routin🇨🇼g的MoE层🤳。
Muon优化器 🇴🇲🌛V4训练中绝大👧多数参数🏪优化用的不是A♈damW，是💶Muo🕋👨❤️👨n👩🌾。标准PPO从🤸♀️🇵🇪基础模型🧪的52.49分提♋🐄升到56📉🥢.44分👸，进步🕊🌆明显但并不突出🙍♂️🇹🇲。开源模型匹敌👠🇪🇷闭源头部，😸🥞这次是真的匹敌了🐜。因此，🖍他们开始转向博通🥘📶所擅长的🚺应用特定集成电🆘🎳路（ASIC）🛅📭。
一个1M的🌸©上下文🥵，在V3🇨🇴🚴♀️.2的🐶↪成本结构下是不🅿❕可持续的，KV⛄🇦🇷 cache会把🍭显存吃光🍚👨👧👧。在电影《甜👭👭蜜蜜》中，张曼玉👨👩👧👦🇹🇩贡献了封神一幕🇸🇸🇭🇺。” 这种“先🇸🇽👱想后画”的机制📗，不仅解决了文字🥊渲染、逻辑混乱📵📙等长期痛点🧨☎tms物流管理平台，更重要的📣⛩是让 AI🐣 第一次🍅🎇拥有了“设🥇🗽计意图”——🥘⛅模型会🐵✍主动问自己：🦶这张图要传递什么🐝信息？观众👨👨👧👧第一眼看到什么💅🛃？数据是🤷♂️否清晰？ 提示词🤫： 生成📱四格漫画🥾，主角是一只叫🤡🕋‘阿橘’的橘🐼🇿🇲猫，主题🦊是‘AI 🙋♂️帮助人类画图🇲🇭⚒的故事’🧑。
