（来源：上观新闻）
比如 ZeRO 🥭👨🦱sta⚫🦇ge（显存🍼☹优化技术💼）、FSDP（将🍂蜘蛛咬了怎么处理模型参数、梯度🇸🇾和优化器状态完🇦🇩全打散分配🎗到整个 GP📍U 集🥉群中的训练🥬技术）、TP⏱ 对齐（确保被🇯🇪🇺🇲切分的矩阵维度大😒🇨🇵小能够被参与并行🚙💤的显卡数量整👝🎙除的技术） 🎆🗞的逻辑都更简单📏🚹。模型会诚实地🇲🇹🇵🇰反映训练👪📮数据，tok💚🎋en 🇻🇮🇧🇩消耗变多，✝🍓说明在训🥜练中确实存🦡🦹♀️在用更长上🎾🔚下文解决🥵相同问🕖🗯题的情况，这🇱🇹💖些吐出来的回🇬🇦🤓答可能又成为训😨练的材料🇧🇬，这就形成坏🇦🇩循环，解决同一☎🖊个问题需要🧻🍺的 tok1️⃣🌏en 越📸来越多🇮🇳🙁。
训练阶段♊👑，优化器⛹维持 FP32 👷主权重，计算前👨👩👦👦先压缩到😿 FP4 ◾💎范围，🐘🐫再无损反量化回 🥊🈶FP8🔛 计算👝。很多人默🇧🇼认，做民生🚭商超就意味着所有🕣商品都得低价，一🧡🕸旦出现高👴价商品，就是🤣🚼背离初🌗心、牟取暴利🕰。Anthrop📧ic公司 Cla🦂ude C🇨🇦🦸♂️ode🍹👩👧产品负责📎人Cat Wu也👑表示，业🔉界以往通常是🤽♀️每月/每季度发布🇨🇭一个新功能🇬🇺。
