（来源：上观新闻）
过去几十年⚠，广交会一🌤直是机🛃械设备🙎♂️、电子产🙋👵品和各🇲🇨👭种工业制成品的🎼🕳秀场，🇪🇭🎤客商们来到这里🇧🇼🕟基本只奔着👨🚒👡三件事： 看🇨🇺🙅货、谈价、签单⚙。对1M t📛🇳🇨oken的序🛫😐列，原本⛷需要attend🤬 1M个t🦊🖤oken，现在只🗣🔕需要at📪tend 1😰024个🌯👨🏭压缩块🎥。一个1🐛M的上下文，在🐔V3.👏🇧🇭泛目录站2的成本结🦐👩🏫构下是✉不可持续的，K😝👳V ca🔻💰che会把显存吃🇲🇵光🍸。版权归属、肖像🍒🇭🇹保护、数据合规—🌲—长短剧🧘♂️平台站在了同一🌭🌺条“监管起跑线😢”上🇮🇷。然而当前的👨🚀AI系统在👨🌾🇳🇿面对同样任💣务时，却往往只能✊🥅"看个大概"♍👨💻。AI科学🥚🇸🇦家在使用Ge🇪🇦mini-🤦♀️🌅3-Flash↙🇬🇶作为底层语言模型🍾时，平均🕵️♀️得分达到30.😋52分，🌈🏒比同条件⛺下最强的👩🏫基线系统高🛌😀出9.92分；◼使用GLM🇳🇨🐰-5时，平均得分➕达到33.73🎚分，比最强😁基线高出11.✈▶15分💞。
MoE部分仍🌵💾然用D🥢⏫eepSee🌦kMoE，MTP🌱📳（Mu🏢lti-T🧴🍥oken P❣redic🇧🇪tio🧾n）模块跟V🍩🗻3保持一致🍊。2025年3月，🚌🅰xAI🚩📰收购了X💭🚑。白发的预言家🐤😙与红色🔣的龙虾，指📸向同一🤗方向：在内容☝生产领域，AI🔘不再是“🚍🇰🇾辅助”，🧯🛀而是正在成🕓为“主体”💕🦛。动作是最🚴♀️🇹🇫有说服力的表🇪🇸态🥕🏝。但随着模型深🇪🇬🎆度和参🌖🇸🇮数量继续往上推，👗这种补丁会变🚘成刚需🍳👻。目前，迪😜⏭丽热巴已✂经胜诉🇨🇮。这句话乍听🍋💌有些抽象，但用一🌮😳个具体的🤹♀️比方来理解就😙清晰多🤶🐇了🚹💭。V4的做🆚法是teac🎌🍿her权重o🔌🇰🇷ffload🧘♀️🆘到分布🇬🇧🇫🇰式存储👨🕖按需加👩❤️👩🥤载，只缓存hi📹dden sta🎦🇧🇮tes不mate👍👨❤️👨riali🇸🇯😳ze l🐰🚌ogits，🍸👋按teach🥔💇泛目录站er排🇸🇪🇰🇬序样本保证每3️⃣个mini-ba🤘tch只加载一🚛个teache👨🦳🧛♀️r head😐🇳🇷。
