（来源：上观新闻）
▲当地时间🔝🈹网络书源4月28🇹🇿日，马斯克现🇭🇷🍆身法庭 🦍大量信息披露🍸： 科🇲🇦🍉技大佬🤓🇫🇲间的“小秘密😪”曝光🐞🚽 马斯📃☹克曾是Ope🐐🇸🇦nAI🚱的联合创始人之🐩⬇一，并🚑向该公司提供了🙈数千万美元的🍓投资🥢☂。既然中端机🔴👔，都涨到了 🇲🇼4000 元🍆。
V4进一步巩固📹🛒了这种认知：即🏳️🌈👨🦱便在高性能🎐GPU供应受限的🌚环境下，依然可🔺以通过原创架构与🐘🔸系统级工程优化🌖，在全球🧘♀️😟开源生态中♋🍠走在前列🚲。正好当时有一个影🤯🈴视热点被大家广👩🎓😶泛吐槽，我就根🍉🇨🇲据这个🔸♟️做了一🎵个反差🇧🇹🌎感很大🏦🇿🇼的泛娱乐视频1️⃣🚄。
你们怎么理解⛪🏪 V4 的整🕔体架构思路🈶🇪🇷？ 赵晨阳：🇪🇬♋V4 🥪🤽♂️整体保留了 De🚭epS🥃eek🏝MoE 框架🎲和 M👨🔧TP （⚔Multi-To🇹🇨😿ken Pr🐞edicti💰🇳🇴on，即 “多🤠🗂 toke🥕n 预测”，🌕允许模型一次性预🥦测多个 Toke🏄♀️🇪🇷n）策略，📠但在四个层🇻🇦面做了改造：注🛬🍽意力，用⛏了混合稀🔦🔏疏注意力；残差，📷使用了🇪🇷Ⓜ mHC；🛀🧩优化器👏，在这么大🇩🇿的模型规模上使用📄🇸🇷了 M⛹uon；🇱🇮🚎以及 infra👭 的变化😻🇨🇵，其中两个关键🍢⛳词是 👨👧👧🎱TileLan🇮🇲🛌g 和 FP4🐈🥃。
