（来源：上观新闻）
如果只是几千 T🕳oken 🎹的输入😾🆖输出，效率🎨提升并不显著😖💫。什么是“🧡优秀”？ ❄优秀这个词，在🇧🇸⬇中文里听起来朴🇦🇼🙅素，却承载着深刻🏟💖的内涵👩🎨🇰🇬。他此前🔽💵也曾在字🃏🍳节 See🙆♂️🌧d 实习🌂🕒。而 V4 放🍙🖥弃 MLA、⛱↩重回 MQA🚻（注：多查询注🧶意力 Mu😢◻lti-Qu🦚🍓ery 🇰🇮Atte🏬🛵nti✒on，是相🇦🇿💱比原始注意👣🇧🇩力更低显存占用和😇更低推理带宽的⤵一种改进），这说⏫明模型架构🕋还有很大改进空🚘间↗💾。
美国这一代🥩🇧🇳模型的重点是面🇪🇹向智能体的长程🇭🇲任务能🎆🏌力，比如 C🦶laud♐🌺e C👩👩👦ode，在🎬多轮 agent👣ic ✉🛳codin💷🐡g 上进步很大🚜。摆在面⛹️♀️🎲前的选择很🐓多：加入大厂、🇧🇬投身当时💙火爆的互联📟🥎网赛道🥬🇳🇮、继续深耕🎫传统优势🇫🇴领域🖤。你们怎么理解 V🇷🇸4 的整体架构🤙🍧思路？ 赵🇪🇬晨阳：V4✒🇷🇼 整体保🔅留了 D🇦🇩eepSe⚪🛁ekMoE 🈳框架和🥖🇦🇮 MTP （Mu📱lti📉-Token P🕠🤼♀️redicti🍃on，即 “多🇨🇦🐚 token👖 预测”，🕗🇳🇬允许模型一次🏭性预测多个🎬 Token）💫策略，🚷👨🚒但在四个层🔙面做了改造：🌁🖨注意力，🌲用了混合稀疏注🇸🇾意力；残😟差，使🈯用了 🇳🇦🗼mHC；优化✝器，在这么🧛♀️🚀大的模🇧🇾💊型规模🏃🏜上使用了 Muo🖱n；以🥬👩🌾及 infra 🍋的变化🎦，其中两个关🦏键词是 Til👨🎨eLa🚈ng 和 F🇨🇻P4👩🦲🇹🇿。
