（来源：上观新闻）
推理侧，🐜⛪V4 的混合😘👨🏭注意力、双压缩🕋和 Ha🇶🇦shTo⏳p-K MoE，🇰🇾意味着前🇹🇭缀缓存、Fla👍🐲shML🎴A、投机🆖解码这些链路都要🧴🛵重建🦆👮♀️。微软尝试在🇧🇴不改变核心功🍨🛠能的情况👥🌽下，进行现🙌代化改造🧚♂️。刘益枫🐟🇩🇯：但很🛁多公司转🕒向按 to🧣ken 计费，💢也是因🐜为现在订阅的价🎭格真的扛不住💟。你们怎么理解 🍇🙁V4 的整体🈺👨🚀架构思👇路？ 赵晨阳：V🏖🐍4 整🇸🇮🧠google review体保留了 D😣eepSe🇺🇲🔪ekMo🍡🇨🇿E 框架和😪➿ MTP （🇪🇬Multi👩👩👧🚧-To🍟🇩🇿ken 👼Predict🚈ion，即 ➕“多 tok☢en 预测”，🇳🇫google review允许模型一⏫🎈次性预测🐩多个 Tok🇲🇵2️⃣en）策略，🦋但在四个🎮⚫层面做了改造：🧣🇸🇾注意力，用了混☂合稀疏注意👨🎨🕍力；残差，使🏊🇮🇷用了 mHC；优⚔🇦🇸化器，在这么大的🌘🛏模型规模上使用🛣了 Mu🆒on；以🥁及 in🚴♀️fra 的变🔢化，其中两个关♑☕键词是 Til🙁eLa🗺⚔ng 和 FP🥘4◼🌑。
但你没有核实📵信息的真🐰实性，没有听🗿👌当事人📡🇹🇻的解释，没有🚴♀️思考这件🏤事的全貌🇧🇯。第一是意义🇰🇵🔄赋予🆑🧁。太稀疏会牺牲一些🅿💉能力上限💟📡。指出这个常见的认🎤知谬误，目的🇬🇶🇱🇸不是贬低人性☺，也不是崇拜🌷🇹🇫技术🐢。西门子所🍎🇨🇩欠缺的，💑🖍恰恰是当下市场🔞🐜最需要的🕗🛤。另一个新面孔🆑☠是 Reflec👎🐰tion 🇳🇱🔥AI，该🚩公司由前谷歌🈚 Dee😒🤢pMin👨👧👦🔚d 研究人员🇧🇸📂于 202🔰4 年创立🌔🇧🇲，去年其筹集了 😚🎻20 亿美元资🐠金，估值据🦶称已经达到 25▫☎0 亿美元🌵。
