（来源：上观新闻）
工具没有立场，🥂但欠的债有复利🔷。打开任何一个短👨🍳视频平台，你会🕊感觉自🥍己在"自🇲🇻🎇主选择"内容—🥠—刷到🎷喜欢的📑停一停，不喜📻欢的划走，这不正🔡🦖是你的直Ⓜ👩🦳觉在工作👆吗？但这个👼判断忽略🌶👰了一个👨👩👧👦📒关键事实：你🎰😩的每一次♣停顿、每🎼👨🏭一次划走、🇮🇷每一次点赞，😨🧞♀️都在给算法提供训🕢🌻练数据，💙🍅而算法用这些数据🏟构建的模🕗型，反过来决🇳🇫定了你“下一条🆑☪将会看到☸什么”🌚🔯。） 此外，我们最🎞近发的 Hi🇹🇱Sparse🐙 把稀疏注👨❤️👨🚁意力的 K🇪🇦V 卸载到主🇹🇰机内存，在长🚔😯上下文🤣场景能拿到 5 🤕*️⃣倍吞吐🏟👩⚕️。
比如说去年的🇻🇮🇸🇨 MLA、D📖🐦eepSe🛠ekMoE（De🔋👱geo与seo的区别epSeek 提🔐🚕出的一种 👩MoE 混合专🔝家模型架构🇮🇳🇰🇾，最早用在🇱🇾🐺 V2 中） 🥈等，我们扎☕⚖扎实实做了🔢一年，才能在开源🧚♂️框架上🇧🇫🇹🇴跑得比🇮🇸📈较好👨。对 Radi🇬🇱🦃xArk 和 S🏖📚GLang 来说🍨，适配这个混合🛢方案的复杂度主要🍜是前缀缓存的一致🤔🖋性🐠。DeepSee👩🦳k 在后训练里做🇧🇩了 qu🎩ant🏑👩❤️👩izat🔌🐜ion-awa😾re t☃😐raini5️⃣♌ng，即训练😢时模拟量化、采👩👩👧👧样时真实🖲🚒量化🦘㊙。
