（来源：上观新闻）
晚点：正好🗼🔒这几天正在📥开 IC🏴☠️🙈LR （国际🇸🇸🆗学习表征会🚅🤔议，Inte*️⃣rnation👩👦👦🇦🇽al Conf⏰⛵erence o⚫n Learni🌰ng R🧡epresen⚗🚭tations，🔁😱AI 顶会之🇬🇩🔷一），🏡👨👩👧 大家在🔹会场是如何讨🏨😳论 V4 和同🍒🎼期进展的？ 刘益🐚枫：有意思🚩🔐的是，V4🇵🇼 放弃🍄🥩了从 V📘⏸2 到 V3 使⬛用的 MLA（🌭注：多头🇹🇳潜在注意力，😈🇦🇪由 De🤦♀️☀epSeek 🎍提出），而目前 👞K 2.6、GL👓M-5.💘1 等🎗模型依🌫🍆然采用 M🔚LA🧪。
在人类的绝👩👧⏱大多数🙋历史时间里，这👩⚖️🥈种能力是🤤🥕极其宝贵的👤：它让我们能够即🎖😘时读取环境信🦹♀️号，做出快速判断🎅👻，建立基于真🎆🈵实体验的7️⃣👨🦳知识积累😣。这是最关键也最容📨易被忽视的一层✝。） RL 侧，1🇹🇻📡.6T 💺🐍MoE 全💆📎参数训练对系统要👨👧求很高🇼🇸。
