（来源：上观新闻）
。这可能是🐱 V4 没有🐏继续用 🐩🌓MLA🍞👨💼 的原因之一🏴。来源：央视📥🇧🇻财经🚪↙。”但Space🌜X内部😭↙远没那么🌦乐观，公司🤵🏹直言其“轨道A😐I算力”计划😔🇹🇿依赖“未经🔨证实的技术”🏷🎍，且“🌻可能无法实🚹现商业盈利”🎓。不过原本 Hyp📰er-co🍻nnect👨⚕️♏ion 的😜🇸🇸数学原理导致梯👜度回传和🇮🇳🔵训练不稳定，🇱🇾所以 Seed🥕 发了这🏖🥗个成果后，社区反⚒🌷响并不8️⃣👩🎤强烈⛴🚤。
事后即使发现信息🙆♂️🛀有误，那种生理🕰层面的"正👨👨👧👦义感"也🚴♀️已经消散，不🍜会自动触发对自己🔀行为的🇹🇴🇬🇸反思和纠⚓正🦝↘。比如 BF1🤦♂️6 就是用 16🔟🇦🇷 位存一个🔇浮点数，FP🇹🇷4 只用 💷🐭4 位😬。更深层的🇦🇩🐯问题是🇧🇼，持续的短期反🇦🇮🍇馈正在物理性地🏵改变大脑的奖🇬🇷🏂赏回路👰🇴🇲。
DeepS🔄eek 为了解决🇲🇷 FP4♒ 训练问题，在💁♂️🇦🇲预训练和🎥后训练🎤上都用了很多工程🎸🔣巧思🦹♀️。另一方面，基础🤥🛤模型在训练过程🌗中也会自动学习👨👧👦✖ N-g🇧🇼ram（连🍐📅续 N 个 🆚toke↙🤾♂️n 组成的局部片🎢🇸🇴段，可以理解成🔵一些常见表达、🆚🎛固定搭🏓配，模型训◀练中会自然学到📇这些短程上🍗下文） 能☃🔣力，E🌿🇦🇲ngra🇨🇽💰m enco🍉🈺der 更多起💦🤓到辅助和🌭❄信号加强作🛥用🍕。
