（来源：上观新闻）
作为一家芯🎉👩👩👦👦片公司🧜♂️，英伟☢👐达也加入💀了，它本身不只是🥪🇱🇦为 A👨🎓I 提供算力底座🧽🍗，自己也开发开源🤸♀️🌃大模型🐑。残差连🐪🕵接方式☑🌶：Se🐇🤼♂️ed、De👩👧👧👩👩👧epSeek🔐🔥、Kim🔊i 的激发与碰撞⁉💜 晚点：聊完优🇧🇫👩✈️化器，来聊聊 ‼🐜V4 🧧开源低代码平台的残差连接方式👨👨👦👦。你们怎么理解 V👁4 的整体架构思🍰路？ 赵🚡晨阳：V4😷 整体保留了 🔹📊DeepS🚻🇧🇿eekMoE 🐦🇧🇬框架和 MTP📉 （Multi🔂🇰🇿-Tok☯🎾en Predi🔴🔋cti🍹📄on，即 🥓🖐“多 tok📅💧en 预测”，↙允许模型🤭⚠一次性预测🕐🏕多个 Token🇻🇮🇸🇯）策略，但在四🍑🇨🇩个层面做了🍘改造：注🌮意力，用了🤱🆔混合稀疏注🍷意力；残差，使用👨👩👧👦了 mHC；🏚优化器，🕞🈯在这么🎠大的模型规模上使🔌用了 Muo🤝🌹n；以及 inf🙎🔩ra 的变化，📊🇸🇭其中两个关键词🇫🇷👣是 Til🕉🖥eLang 和🕛🐦 FP4🚩。
。。Moonlig🦈ht 🇨🇭👇的重要贡献是把这🍹个比例基本确定为🤨 0.2，这样使🤲🎯用者只需设置一🇲🇹个学习率超🔑参数就能适配整个🦘💷模型👟🥛。椅子在“呼4️⃣唤”被坐，🙈门把手🇧🇷在“诱导”被😔💦转动🎓。但对吴浩来说✈，这份“🌵👨❤️💋👨看不见的守护🍲”，正是他⬛⛷作为低空🌌🏒安全守望者，最值🇺🇾😺得骄傲的勋章🐚。安全部门花三个月📏😦审了五款🇺🇳工具，结论是不⛲能用——数据🍉👨👩👧👦要出内网🕢开源低代码平台。这背后🏝也反映做模型的🥭☺两种不同🗣倾向：中国👩👦💆♂️的开源模型更追求💹☯工程优化；🎿美国的闭源模⏳型更追🔤🔨求提出和开辟新的✏能力方向👤🦏。
