（来源：上观新闻）
原文为：W👩🌾🌷e valida🏙ted th🏡e fine-grain🧡🇪🇪ed EP s🙅📝cheme💨💌 on b👨👩👧oth NVI🏸🐣DIA G🤖🤡PUs an🇫🇲💢d HUA💴WEI Asc⚔👰end N📣⤵PUs ⚠📃pla😁tforms.）↗✏ 晚点🥞：晨阳提到 “率🦀道而行，端然正己🧁”🐙7️⃣。特斯拉🛄还获得约 1.4☃3 亿美元（现汇➡率约合 9.👩👧78 👩💼亿元人民币）收入🚱🖼，主要来自向🚫 SpaceX🇦🇲🇲🇫 销售车辆2️⃣🇬🇩。但对于老👨🏭旧项目，SDD 🖨天然只能蚕食—🔮—在新功能或🛑重构模块上✊写 s☪👨👩👧pec，不追求全♎🐫量覆盖😈。刘益枫：英伟🔇🖌达的开源模型也用😍🇬🇸 FP4🎰。天文学家🕐◀同样十分担忧🇵🇸🍀，因为卫星👊💀已严重干扰⚽太空观测🧨🌃图像✉。前沿探索和对比验🏃🚔证的实验成🍷🌳本，人力和数✡🏊♀️据成本才是🕙主要开支🕉🆗。
你们怎么理解 V🦹♀️🎐4 的整体架🇵🇰🇹🇫构思路？🎠 赵晨阳：V🇹🇳🔅4 整体保留了🇸🇩 DeepSee🦑🚑kMoE 🦐框架和 MTP 🇬🇳（Multi🇱🇷📍-Token P🦸♀️🌴redicti🥝🥮on，即 “多 🕹➖token 🔺预测”，🎮允许模🍢型一次性预🍈👩👧测多个 To🍧ken）策略，但ℹ🧱在四个层🎟面做了改造📹：注意力🇻🇺，用了混合🍷稀疏注🆑🧯意力；残差，⚰使用了 mHC；🥡优化器，在这😷💾么大的模型规模上😺⬜使用了 Muon🚄🛵；以及 👩🌾infra 的变🇬🇮📔化，其⚠🇨🇵中两个🇸🇲关键词是🔌🇳🇱 Ti🇬🇷leLa📵🇿🇼ng 和🍥🎅 FP4🚹。
