（来源：上观新闻）
预训练、后训练与🥴实时推理在计算特💵🇲🇬性上已显著分化👨🚀：训练任务追求💣🐫极致吞吐量与✉规模扩展，推理任🚚🌑务则对延迟👤和并发🇿🇦💎更为敏感🚮🤨。一位用户在一篇💬较长的帖子中表示🌁，裁员之后“幸存💠🦋”下来未👅必是好事🧶📎。自变量🎆👩👧👦的领先优势，将不🚊断扩大🇧🇱。这些专🏫家的角色将是🏅指导 D⛄⬛C 在架构和目🚵♀️标层面实现他们🇰🇭✅认为能够在🇵🇲🔇市场上⚠取得成功🇵🇭🙍的设计😡成果—🥘🎊—他们能够进行☢无需猜🔩🏰测的实验，🇧🇲并争取更激进的成2️⃣🍢本和性能目标🤑。
汇博机器人C🎆🦁TO禹鑫燚博🤧🍵士重点揭示了公司⚔高效、低成本的数🛅据训练路径🎫。V4把Ad💼amW替了，接🕛管绝大多数参数⌨🤱的训练🇰🇿🇧🇷。每m个token✂🔒的KV entr🏃♀️ies，通过一▶个带学习权重🤑🇦🇽的atte🖊ntio🏊n-like🤸♀️🇦🇪机制压成一个🧝♂️。因为压缩注意力🇾🇪🐽保证严格🔺因果性，一个qu🎯ery to🏛🏕ken看不到自💚己压缩🌓块内其他tok⛽🐗en的🙈🐿信息⏭。这个基准共分🧗♀️💗三个难😼🇪🇹度级别，每🈂级随机抽🔇🇲🇻取300对图🍳像🇵🇪。
