（来源：上观新闻）
晚点：所以美国👩💼🇳🇮 AI lab 🏋️♀️更倾向于先冲🕗性能📑🧥。这可能是 V4⛺ 没有继🔭续用 MLA ♥的原因之一🏅。刘益枫：🦐从 DeepS👨🍳🦒eek 的致谢👷♀️🏍名单来看，离职人🧨员比例大🌇概在 5%😬🛫 左右🌺。过去，特斯拉🥪👩🦲员工曾被派👪往 X☦，帮助改造后者🐪的代码，x🙎AI 的 G🍚🛌rok 也已⛰经接入特👼👩🍳斯拉汽车和 ⚫Opti😡🇬🇼mus 机器人⬜🌫。
晚点：这套新🇺🇬🗻的注意力机制对 🇼🇫Infra 🕓🚺的影响是？ 赵晨🏵阳：改🔂🕵动还是🐫挺大的⚫ℹ。晚点：这两🔒种方法的区别是🚰🤳什么？你🚘认为哪种🏝上限更高👩❤️💋👩？ 刘益👩👩👧枫：实验🐢🤞室更倾向搞 m🚴♏HC，因为🧝♀️资源有限，mHC📧🦘 的 💋🇹🇬Infra 实🤸♂️❇现更简单↕。
但即便如此🍑👀泛站，这个趋势仍🇮🇳不可逆地发展，因🐹🗑为对各Ⓜ😷个团队👩⚖️泛站来说，优化模型🔽解决问题🇬🇲的能力还是会优👽🍈先于优化🦎🐍推理的简洁😸🔍。另一方🏠😼面，基础🇴🇲模型在训练过程中🕜🦗也会自动🕰学习 💎N-g🥿ram（🌫连续 N 个 t💮oken🇹🇨🕖 组成的局👩⚕️泛站部片段🉐😅，可以理解💪成一些常见表🎫达、固定搭配🇨🇲，模型训练中会自🖼🇦🇩然学到这些🔫短程上下文）🚮 能力，En🌋gram enc🚵🔺oder 更多起🚑🚇到辅助和信号🌷泛站加强作用⛑🎊。
