（来源：上观新闻）
V4 技🤐术报告🚜🦠里的中国☯🇵🇦芯片和🏕⏫ “消失的🔅👰成本”🕣🇳🇷 晚点：🎢👩Dee👘🍣pSeek♌ 从 V3.🎒👊2 previe🎛🚴w 到 V🚽4，中间隔🐎🇲🇼了 7 个多☎月，但不管是🚛 Kimi🚱、Qwen🚕🏐、GLM、Mi☢🇻🇨niMax 还👩🎓是 GPT、Cl🀄aude，主🧱⌨流模型的🎻版本号都切得♦👠越来越细，更新🇻🇦📁很密集🇳🇨。之前大家更多🐾是在 KV-ca🏂😃che 上做🇲🇲单 token 💄🍙降维，比🇸🇲如 ML🚕A 的先降维再⛑升维🌺🍒。
模型同📟⏭时学习两件事：⚰自身运动如何改变👀视觉画👎面中的像🥖素，以🚋👨👨👧👧及运动的力和速🍥度如何与手中🇰🇾☺物体产生交互🚅🖕。进化生物学和🎺演化心理学早🧕🇲🇭就告诉我们：自然👽选择塑造的机制🕟👩🔧，是“适应过去环🌨👙境的解”🐸🕒，而不是“永💧恒最优🏒🃏解”📙💟。基座基本都是 M🔃👨👩👧👧LA，🔠🇧🇳优化器也🍰类似，之🥪🈹前大家用🧿🕤建个网站费用多少 AdamW 或🤰者 AMSGra🌜🐩d（A📓dam🇰🇵🇭🇷 的一个变🔚体，通👨🍳🛋过保留历史二阶矩🇸🇽👓估计的逐元素最👩👦😭大值，限制🇵🇫🕧自适应学🏧习率波动，从而改🧜♂️善收敛稳定👨🦲🔂性），现在陆🍰续转向 🍟🈺Muon 或基🇧🇶于 Muon 微😃🏄♀️调🔵。
