（来源：上观新闻）
模型会诚实地🏳️🌈反映训练数👨👧据，token❕🐫 消耗变多，说🐹👏明在训😮练中确实存在用更📡长上下文解决🎶🥤相同问题的情🖖🈵况，这🏍2️⃣些吐出来的◻回答可能👆🇹🇹又成为训⚔🤷♂️练的材料，这就形🔗成坏循环🈹🗣，解决同一个问题🌨需要的👨👩👧👧🍜 tok♎en 🦐越来越多🚛💄。晚点：MLA 🔤和 MQA🦆💍 的区别🏁⏮是什么？ 刘🚦👫益枫：简单👩💼来说，MQA 🌈更接近原始多💅头注意力👌📺书新版好还是旧版好（Mult🔺🚢i-H🚨ead 🦝🇵🇱Att💁♂️ention）☣👺。
这也引出另👨🍳🎹一个问题，可♎能是所有优化🔘🍫编程能力的🔸模型团队⏮🐶都要思考的—🏬—这世界上只有极🇯🇪少数的公🈯😙司在编程上有数据🚩🏁飞轮，而获取数据🍒▪的最佳方式是 “🥤🧨被使用”🤙🌘。蚕食还有一👩🌾个隐性的🚵坑🖤。这是怎样👵🏢的演进思路？ 赵🌖晨阳：FP4、🏂⛱FP8🎪🛑、BF16、I🏋️♀️NT4 等等都🕣是数值格式⛲，数字代🐒表存储位宽🌘🏯。
Meta 和扎🖋🏊♀️克伯格长期以来一🏗♓直寻求在💟人工智能领域占🍽😟据领导地位🐥，包括向 🌏Scale🇸🇽 AI 🇹🇳📒投资143 亿🎸美元，并聘请首席🍬📨执行官 Alex🥢💛andr🗒 Wang🧦。在非常微小的🐣🦑差距里排先后🐫意义不大🇰🇮👩👦👦。Meta 🇧🇳和扎克伯格🔇长期以来一直寻Ⓜ🇲🇶求在人工智能领域👨👦👦占据领导地位🇵🇦，包括向 Sc🔓🇭🇲ale AI👔🕢 投资⚪🗓143 亿美🔎元，并聘请首席🎼🍃执行官 Ale🌮xandr Wa🥕ng🎵🌃。
