（来源：上观新闻）
今年刚刚✝🎢博士毕业🤡🖌的小李刚刚结束🕯一个面试，🕌⛓面试官说可以👽先来公⭕司实习，一周三天🥭💩。蒸馏的话，😝之前 DeepS🍁eek™-V3 和 R1🙀 都实🇧🇦🍴践过，🙆但 V4 🕳是先训练一些🐃小专家🦇，再把这些专🐾⏳家学到🇨🇺的技能⏳蒸馏出来，节👗👩🏫省参数量🇧🇼。华东师范大学学生👩🎤📋职业发展中心🕞主任章晶晶告诉🚛《科创板日报⏱🇨🇭》记者，🥩面对快🇻🇮速迭代☠的市场🇰🇾👡技术需求，与大学🛹人才培养相🦕泛纳设计(深圳)有限公司对滞后的“不匹👩💻配”问题，今🌃年中心通过学生个㊗😴性就业成熟度测📝👩🎓试和反馈🧗♀️🆔报告等，密切🧤🇼🇫学生与生涯🇲🇳🛃咨询师🤡、校外生涯导师的8️⃣交流，缓解🇻🇦学生就🙍♂️业焦虑🇱🇹。
首个客户将8️⃣是沙特政府支持🎍的AI初创公司H📁🇿🇦umain🉐。晚点：🏃♀️那 Til🍦💘eLang 也📕可以用🎊🔧在其他芯🧞♀️片厂商更底🧗♂️层的软件系⛑统上？ 赵晨阳😰：是的，事实上很🌓🧁多中国硬🧟♂️件厂商正在🕸主动支持 T🌊ile🎯泛纳设计(深圳)有限公司Lan🇹🇷g 生态🕺。
你们怎🛏么理解🍃 V4 的整😼泛纳设计(深圳)有限公司体架构思👨👨👧👧🦀路？ 赵晨阳：🇫🇰🚌V4 整体保🇺🇸🇨🇬留了 De🥛🇬🇸epSeekM🛳🖇oE 框架👨🚒😥和 MTP🕋 （Multi©-To🐗ken Pre🏧diction📁，即 “多🙎♂️ tok📹🎥en 预测”，🔴允许模型一🍛次性预测多个 T🏯oken）🏞策略，🥵🇲🇴但在四个层面⛹️♀️做了改造：注🦷意力，用了混合🚵稀疏注意力；残🐅差，使用了 m🦖HC；🧑👨👨👦优化器，在这么大🈹的模型规🚵♀️📅模上使🌲↩用了 Muon；🎏以及 🌎🅿infr🚓a 的变化，其🎱🛂中两个关📛🎒键词是 🦁🇺🇳TileLa🍂ng 和 FP4🍆👈。
