（来源：上观新闻）
晚点：这套新的注🇱🇻⛲意力机🕑🤧制对 Infr📂🧡a 的影响是🔝🧴？ 赵晨阳：👕⛑改动还💖👯♂️是挺大的🔁🦍。美剧《🌽🇧🇱黑镜》第三⛷季剧照🏴。你们怎么理解 V🎴✊4 的整㊗😉体架构思路📘👩👩👦？ 赵🥫晨阳：V👨👩👦👦4 整体保留🥿了 DeepS👩🦱eekMoE✍ 框架和🅱🛂 MT🛃P （Mu🔅lti-T🥿🇹🇨oke2️⃣🎯n Predi▫ctio🐺🇫🇲n，即 “多🔁 toke🇬🇷😽n 预测”🧛♀️，允许模型👟一次性预测多个 🐦🧞♀️Toke1️⃣🇸🇸n）策略，但在四🐶个层面做🕜🙋♂️了改造：注意力💲🥭，用了☘🚵♀️混合稀疏注意力；🚦💮残差，📴🏫使用了🥡 mHC🇦🇩🉑；优化器，在这么🤜❄大的模型规👳♀️模上使用了 M🕳uon；👩🏫⚒以及 inf🕔📔ra 的变♨📓化，其中🚣♀️两个关☪🗿键词是 Ti👕🦍leLa🥄🔪ng 和 FP4🍏🔏。
截至今年2月，特👚🔱斯拉在马斯🇧🇲🤞克身上的♣安保支出🐏🥘已从去年同期的🌠50万美元🇱🇰🚔增至130万美🇦🇪元，翻🙅♂️🇨🇫了一倍多💇♂️。不仅如此🇲🇶，从这里往南🇺🇬40公里，🔬🈴还有一个1🚻🔰50万千瓦的风电👩⚕️场，今年内也将🙋♂️🇨🇴全容量并入🎛这个算电协同项目🇹🇷🦃，它发的电也🍨专供这个算力😴供应链管理平台园区🇹🇱。
DeepSee🎋🐌k V4🐿👩🔧 在编程和 A🗒🍔gent 能😏🇦🇨力上已🌵经接近甚至部🔘⚒分追平了闭源旗舰🇬🇩📋——开源🙁✂最强、成本地板💻🚲价、国产芯片🇮🇩🇱🇨可跑🚇。
