（来源：上观新闻）
芯片制造高🎭🥨度依赖庞大的供👨🔬应链体系，🕢🐡涵盖特种材料、电🥮子化学品、🇨🇲🥣特种气🛀🤘体、精密零部件🍭⏱等，而这类关🏗🌉键物资大多🐨🕸由少数厂商垄🥟👩👩👧👦断供应🗃⤵。V4则换↩成了“分化⭕🍷再统一”的两步👧🇧🇭走：先针➖对数学、代码🌷🛍、Agent⛳等不同领🇬🇪💐域独立训练🌻专家模型，每个⚙专家都在自己的赛🔵🇩🇬道上跑到最优🏨🎮；再用🐤一种叫O⛹👩🏭n-P🍹olicy 🍡8️⃣Disti🚮✳llation🕋♣的方法🇸🇸🇵🇹，把十🇹🇰🍛多个领🇭🇲🎚域专家“蒸馏🎾🦑”回一个统🇵🇫一的学😆🦜生模型——🇧🇬学生自己生成回答🌬，针对每🤼♀️🈚个回答🏚🚮匹配最懂🙆🥀这个问题🧔🇨🇭的专家的输出分布🇹🇳✊，通过lo🕯🚶git💗🎷级对齐把能力吸收🎲🇷🇸进来🍄😪。
之于此，一🇳🇺个非常典🤗🏹型的行业，🚂💄就是自🐐媒体💀📇。V4的做法🧚♂️是把注意力拆成🎉两种，交🇷🇴替叠用： 一💔🥀种是CS🇬🇹A（压缩稀🔉疏注意力），先把🗿每若干t▫oken🤱的KV缓↙🔤存合并成👨👧👦摘要，再让每👩👧👦🥦个query只在🙋这些摘🌶⏸要里挑🎻选最相关的t6️⃣op-k💓🌾条去算注意力🏏——相当于🕤🌓既压缩了🥴“要看的内容🇮🇱✍”，又只🇲🇨挑“值得看的👣”去算🐕； 另一种是H🕦🕍CA（🇵🇸🌂高压缩注意力），🏸🇲🇽用更激💶🇦🇿进的压缩🍨🇧🇲率把更长区间的t🍄👍oken合并🥶为一条，但保👜持稠密🇹🇳🦹♂️注意力🚛🦉。
