（来源：上观新闻）
目前这个光伏电站🇹🇩🔭年发电量9👥.7亿度，能👩🎓😆够满足园🚙☠区一半👤的用电需求🇹🇭。晚点：正好这🤮里补充一组数据✴🎸，在激活➖🏄参数比总参数的比📓例上，DeepS🇦🇹eek-🎰👨👦V4-Pro 🌍🏯刚超过 3%🥋，而 V3🍷 时是 ☄🐵5.5〰👨⚖️%🤕。
陈先生向👚记者展示其目🇳🇮前已生成的🇹🇫🦈AI智能体部分🇭🇹结构——主题🐅🧟♀️文件夹包括“汽车🚢出海”“汽车💎🏎销量”“新车👦发布”💷。你们怎么🇹🇿🏄♀️理解 V4 的整😃体架构🎊🎳思路？☝ 赵晨阳：⬜☄V4 整体保留了🦉 De☑📯epSeekM😉oE ✖框架和🇦🇽🏉 MTP （🇬🇫泛目录Multi-To🗿ken Pred🇳🇪ict🥑ion，即🇻🇪 “多 toke🧒🤳n 预测🤧🛅”，允许🇾🇹模型一次性预测🌒多个 Toke👩❤️👩n）策略，但在👏四个层面做了改造🚤：注意力，用了🇧🇧泛目录混合稀疏注意力；😌🚭残差，使用了🥜🤼♀️ mHC；优化器🍰，在这么🌧大的模型规模🐓🍙上使用了 Muo📱n；以及⤴😚 infra👜☠ 的变化，其🐹🏪中两个🙋📤关键词💍是 Til🙆eLang 👿🎊和 FP↘🌐4🌌💝。
一方面可能是因🚋🌂为 Eng🔝🥏ram 🥢对性能的提升🌇🙎♂️有限，但对🇻🇪部署又😖🦙有较大挑战🦛🚘。比如 ZeRO 😑🇳🇬stag🐘e（显🎽🥗存优化技术）🥝、FSDP（将模😕🚮型参数、梯🏦度和优♓化器状态完全打散🐄分配到整个 G⌚🇱🇷PU 集群🇧🇶🇭🇺中的训练技📴🇲🇳术）、TP🚠🦎 对齐（♊确保被切分的矩🤚阵维度大小😵能够被↖参与并行的显卡🏇数量整除🕑👟的技术） 的逻👀辑都更简⚓🇧🇳单😊🇷🇴。
