（来源：上观新闻）
V4-Pro和V🇱🇾🏫4-Flash，🚪🍻1.6万🇸🇧亿参数/👈🦶2840亿🇬🇷🚴参数，上下文都📠是1M🍪。因此T💷🇨🇵RAC🍕E的性💇♂️能随训练轮次持🎗续稳定上升，而🇲🇫直接训练的曲🦕线波动明显，最🍘🌉终停留在37.8🇦🇷🚾%，而TRA🇸🇳🏣CE达🛅到47🐺👘.0%💠。” “不是每个人🕑都能用👖🇯🇲好AI🔰。正是第四个挑战，🇧🇸❄成为了A🌜🇫🇷I科学⛰家整个设🇸🇬👪计哲学的核🛫🔞心出发点🕚👨👧👦。
为了确认SPP🖱O的优势〰确实来自其💎🛒核心设计思想👨🦳而非其他因素🤫🇮🇩，研究🇹🇨🧗♀️团队还做了↗一个对照实验：🙂把SPPO用来😀训练价值模型的👨🦰方式（二元交叉熵👙🇧🇼损失）直🤮🦍接嫁接到⏬🐾标准PPO🐊🌹框架上，其他🇪🇨一切保持不变🍛，命名为"🇳🇱PPO + B🦊CE"🙂🦘。两款芯片🇲🇱均集成了基于A🇩🇯rm架构的A⏺🆓xion C🉐🦔源仓库3.0书源PU，以消除数据⛏预处理延迟造💑成的主🈲机侧瓶颈🚰，确保🧬🎮TPU计算单元持🇵🇷☎续满载运👁行🍲源仓库3.0书源。
从V2的MLA🧔开始，每一代都🙎♂️⛵在删KV ca🐏💤che🐓、删激活参数、🇰🇷🌤删注意力计算🇹🇱量🦂。通过专项🇲🇱⬛优化，谷歌得以在🆔👨👦价格性能比☹上实现更大🇵🇭👡幅度的提升，为云🥫🗾客户提供更具🧭🔟竞争力的单位算🤦♂️力成本👩💻。
