（来源：上观新闻）
就像模型厂💌商会发技术报告，🥏大家彼此🧛♂️🇩🇴借鉴，🗝但也存在竞争👨👧。赵晨阳：他们👳做的是多专家训练🔻，本质是在解决🐋🐀多目标👩👩👧👦🚎优化问➖题🇺🇲。
你们怎🇦🇶么理解 V👨👨👧👧🛫4 的整体架构👨💻思路？ 赵晨阳：🧞♂️🥌V4 整体保🦞留了 De🇬🇩👨⚕️epSee🤶kMoE 框架😫和 MT🧠🇨🇩P （Mu👨👨👦👦🏝lti-T🏯🦓oken P🚜🍨red🐪icti⚫on，即🎪🇹🇻 “多 🦝token 预🇴🇲测”，允许模型一🍱次性预测多👩🎨个 Tok🐎en）策🕸🛁略，但在四个💝层面做🛐🏸了改造🇯🇴：注意力，用了混🚥合稀疏注🇭🇰意力；残差，使用🔓😗了 mHC；优👞化器，在这么大☣🇸🇭的模型规🤥模上使用了🇴🇲😲 Mu🐭on；🇸🇰以及 i👨👨👦🈂nfr🍐🇨🇿a 的变🥂化，其中*️⃣两个关🎄键词是 ♦TileLa🏣🍩ng 和 FP4☔。
OpenSpe🇴🇲c 则明确说💎🐘自己是“bui😃🇦🇪lt for🤷♀️ br🏋️♀️🇬🇺ownfieⓂld no🍷t j🐷ust g🇮🇱reenfie🇳🇱ld”，可以在老🔨🕟旧项目上增量加❓🛫。
