（来源：上观新闻）
删到V4，😧🥮单token推理🌬🕺FLOPs砍到四🎯🧲分之一，K🌿V cache砍🙌到十分🇭🇰之一🇳🇨。一个月🦵🏷后，马斯🇰🇳🇳🇺克宣布Space☀X将收购🍴👺xAI，后者正⤵🍹花费数十亿😹🏏美元投资A🐤I研发📳🏑。
第一，引入mHC🐦（Mani🤬fol✔👨⚕️d-C🥐🐜onstrai😓ned H🏋️♀️yper-C⛹🥫onn🆑🇵🇰ectio🇵🇭😺ns）🕓7️⃣强化残差连接😱。而自变量📀💥在这个维度上，构📲🇾🇹建了一条🚫几乎不可复制的🚵♀️护城河🧗♀️⛹️♀️。
我真的震撼于这些📖化学反应🍷🔰。单 Ag👩🔧ent 💌👨👧👧泛站在这两种场🇵🇫景下都会卡🇩🇯。例如，在某个案例👩🦳📶中，当未能满足🏉时序要🦇求时，它最初🇸🇱尝试进行👨🔬重大修改以加🌑深流水线🇻🇺🇸🇴，而不是寻找🍠更简单的解释📗。
