（来源：上观新闻）
假设他们现🆒在采购了昇🌳👨🌾腾服务✒💁♂️器，部署了 😀DeepSe🙋🏊ek V4——模🌔🗓型的代码生成质量🇭🇳会比之前那个半😔年前的🔎老模型好得多，🚄😢但那个九🦶🇵🇹年前的财务后台系🕌🤷♂️统里散落的隐知识🕣，不会因☯为模型换了🇲🇸就自动👁💆♂️消失🇱🇧。你们怎🍴么理解 V4🇲🇵👋 的整体架💐👨🎤构思路？🌄😾 赵晨阳：➿V4 整🏦🇧🇴体保留🧛♂️🕷了 DeepS🗞eekMoE ☺🐗框架和 🏝🆖MTP （Mul🍥🆑ti-Toke😞n Pre📷diction😅，即 “☺多 token 🎍💮预测”🔹，允许模👷♀️🇸🇨型一次性预测多个👿🇯🇲 Tok😀🐦en）策👨👩👧👧👩🔧略，但👬在四个层🚞👌泛普软件面做了改造：注🇦🇼🐱意力，🛰用了混合稀疏注意🎋力；残差↙🎸，使用了💒 mHC；优化器🎸，在这么大的模型🍨↖规模上使用🤐👩了 Muo🐃🤘n；以及 in🎋fra 的变化，😝🥥其中两个关键👦词是 Til🇦🇱⏭eLan✡g 和 F🏴✝P4🥠。
谷歌员工💙在信中写道，💡希望 AI 造福🚜人类，而不是以不⏬人道或者🗳🇨🇨极端有害的方式8️⃣被使用🍂。除了架构🉑🚛，Eka 🚦🙉在技术🥪🍧路线上也🏌进行了创新🦢。模型用预填充🍠阶段产生的🏃缓存，开始自回🦵归地生成回🕋答，一般解码📭🖕是逐个 🔅token 吐♟️出的，这🇲🇾🇧🇿是推理的速度瓶🎃颈🥗🇨🇰。” 西门💬📖子这一“避重🐊💙就轻”的回🇸🇦应，惹怒了一众😖🖇消费者，包括💆罗永浩😎🦢。操控信息环境🇹🇩🦏中的直觉失😏效是一个严🐻🚵重的问题🍅。
