（来源：上观新闻）
你们怎么🗃💸理解 V🥟4 的🇦🇶整体架构思1️⃣路？ 赵🦴晨阳：V🔃😣4 整体保留了 ♈DeepSe🙃🖍ekMoE 👑框架和 MTP 🇩🇯↩（Multi-T🕟oken Pr👩🏫⏯ediction🇲🇻💼，即 “多 💆token 预🛤🛷测”，允许⚠🚵模型一次性预测多🖼个 Toke🇰🇿🛢n）策略🇳🇵，但在四个层面做✍了改造：注意🍧力，用了混合稀🇧🇮👫疏注意力📉；残差，使用了 🐨mHC；优化器🌓🏞，在这么🇹🇬🧥大的模型规模🍓🚽上使用了 Mu🦢🚙on；以及 💵infr📗a 的变化，其中🌾🦇两个关键词🗾是 Til🤮eLang 和🚸🌻 FP4🇹🇰🇫🇷。
谈及此事，产业🙋♂️时评人🦌🕵张书乐向澎🐪湃新闻记🇲🇽者表示：“算法推🌪👩🦰荐的尽头是信息🎙🇧🇩茧房，俞浩含怒🇲🇬三连，☸某种意义上也🏬是其自身👺用户标🍊💩签和追觅科👡😧技内容高度🍍🍵绑定（👩🌾日常关注）所形🇧🇫🇺🇿成的信息集聚而带🏔☯来的观感体验🐙😲。优秀的应🔙对方式，不🚳是死守🧛♀️🥼这些生👩👧👦物学遗产，而🚾是承认自身的有🤝限理性，并主动借🧚♂️助外部🌃认知工具来弥补🇧🇬🚊。
