（来源：上观新闻）
我们还是很高兴🌬🥑能在这么大🧁的 MoE 🤴😁模型上同时做好推🧚♂️理和 RL，并把🚩🇧🇧一致性做到🍣极致🛢。IT 部🔑门采购 G🚽🇦🇶PU 服务器，选🐏一个较新🇦🇼🍢的开源模型🇬🇸🏗做私有化部署🇨🇵。”4月2👨👦👦9日，陈先生向🇰🇪🤽♀️经济观察报🎷🥮记者表示，💹🇹🇱目前，☄他定制的🐛AI智能体已经Ⓜ国内比较好的saas平台基本“成形🧀🏊♀️”，但运行起来🎹🔫还不够流畅😂，需要进一步调💭试🎱。你们怎么理解 🏃V4 🚿👨💼的整体架构思路🍨？ 赵7️⃣👨👦👦晨阳：V4💗😈 整体保🍙留了 D🚾🧱eepSee⚙kMoE 🇧🇧🥺框架和 ☣MTP （Mu🦏🧖♂️lti-🤗Token👅🇨🇨 Predi🚚🚈cti⬛🎞on，⚾即 “多 🏤😘token 预💻测”，🧘♂️允许模型一😣次性预测多🛄👪个 Toke🚠📽n）策🕛略，但💥🏷在四个层面做了改🇨🇫👩👦造：注🍺😠意力，用了混合稀🏙疏注意力；残🛑🆕差，使用了 mH🔯C；优化器，在👨👨👦👦🕸这么大的模型规模◀上使用了 Muo🎃👨✈️n；以及 👽📆infra 的🕎变化，其中两🐨🎄个关键词是 Ti🉑🎎leL🌦ang 和 FP🚑💚4⚪。
当时无人🔹机刚开始🇲🇬🍂国内比较好的saas平台兴起，虽然🥊🗳还不普🛰👩❤️👩及，但他已经敏🍗锐地察觉到📓：“未🔠🇹🇯来低空一👅😗定会非常繁忙⏯。这笔款项🇲🇸🍦超过三星主张的🧬🤺最高 2 亿美🚥🇩🇿元（现汇率💞✋约合 13🏯.67 🧴🤗亿元人民币）🌙🚑，但低于💺中兴寻求🏉的 7.😒📥31 亿⏫👑美元（现汇率约🏪🎌合 4🤼♀️9.98 亿🇦🇺元人民币）🦅。（笑）🍬😣 刘益↘枫：确实，刷🥥🐋榜不是目的📒。这个规律🚋📪在日常生活里极其🌤🍸明显👅。依据梅洛-庞蒂☔（Mau🇪🇺ric🇹🇭⬇e Me🚡rleau🥫🍭-Po👌🛥nty）的论🐇🐮述，身体不是一🥴🇰🇳个被“意识”所驱🐿🥣动的客体📢（机器），而🇿🇼是“世界的基础”💈🐦。现在 De💎⬇epSe🕞ek 发布的🆗 chec🔂4️⃣kpoint（模🦚型权重文件）也🚩💈是 FP4，训练🌻中采样用的🇬🇲权重就🇬🇾是最终🏉📧发布权🇳🇵🎛重，而🥘不是先训练 FP🐼🇳🇺8 再量化成 F📥P4🈲。
