（来源：上观新闻）
晚点：V4🇫🇮 是不是没有提出🇮🇪⌛什么新的领域👨👩👦👦🇲🇻能力？🥭 刘益枫：🇷🇸🏴对，这也🅾是它没有那么🤢令人震惊的🇦🇮一点🇷🇺🚿。你们怎么理🍐解 V4⏏ 的整体架构思🏮🈚路？ 赵🇱🇹🚪晨阳：V☘🎣4 整体保留2️⃣👈了 DeepSe🍶🤸♂️ekMoE 🚰◀框架和 MTP 🐻🐶（Mul♈ti-Tok🍊💀en Pr⚫🇭🇳edictio⛴🇲🇿n，即 “多💦👴 to🇲🇰🧞♂️ken 预💥🤲测”，🇧🇴允许模型一🚴♀️次性预测多个 🍋Token）策👹🌖略，但在四个层㊗面做了改造：注意😿力，用了混合稀疏👪🏏注意力；残差，使✅用了 mHC；🇨🇩优化器，在😛这么大的模型🐫规模上使用了 M👃uon；以及 i💐🍘nfr©a 的变化，⛄其中两个关🇱🇾键词是💟🗽 Til♏🤕eLan🐚🇳🇦g 和🍳 FP⚜4💬。
这家科技公司的🤰🕕净利润🐕✈为267.7亿⛳美元，同比增长6🇳🇦🏴1%🐤😪。刘益枫：作为算🐓👨🚒法研究人员🥡，我更佩服 De🐷epSee🇳🇱k 的艺高人📼胆大🕝🧓。（4:1、1🇬🇼28:1 是指把➗ 4 个 👸😢token 🤽♂️聚合成一个表示💰和把 1🔃⚙28 个 t🙅oken 👺聚合成一个表示☝，所以说🏺 HCA 的压🧐缩更激进） 每层♌用 CSA 还是♒ HCA 是🎉预定义的，因此面🏵对同一个长🐬上下文，不同层会💤从不同视角🧿去看——稀疏层（🧗♂️🏛CSA）精确锁定🧗♀️🔖关键 🍈token，稠🤼♀️密层（HCA）📏👨🏫提供整体语🇮🇳💕义概览㊗🎴。
