（来源：上观新闻）
Q2：Pape⛴rBen🇪🇸😘ch测试的是🇪🇭😕什么，🍮📕AI科学家的表🐡蜘蛛现如何？ 😞🎧A：PaperB🛷ench💦🛎要求AI在24小🐰📴时内，从一篇机🏴器学习论文出发🎭，在没◀🦸♀️有原始代码的😊情况下从🇺🇳零搭建、运行↘并复现论文🏚🇻🇪的核心实验结果👲。**四📜🦀、PAND🐚ASE👐T：为这张🚱💶"体检报告"准🙍♂️🇩🇪备训练数💤据** 一个😭📦好的AI👨👧👦🚚系统需⏳要大量高📜质量的训练🤒🏞数据🚊。对每个🏡🇸🇪query🚿📚 token，用🇧🇿🧶一个轻🛎👨🏭量的indexe🗺r计算它和每个压😜🤲缩KV块的相关🧸性分数🇩🇴。
今年1月，东方⏺甄选还宣布将在🔸北京开业首家线下🍖🗒体验店🇩🇬。为了应☝对不可预知🎦🇦🇸的场景，企🦂业只能不⛷断堆砌算力和昂贵🤷♂️📯的传感器，导👺致单台成本居高👨🎤不下，且🦵🚛在真实👨👨👦🏁的复杂环境里极易🇧🇹🚙失效👨🏫🕰。在训练大模🍉型这种极度耗费🉐算力的场🏊景下，这意味着🐷训练时间大幅延🤒长，成本急剧攀🗑升🚶♀️。MoE用1🕉🇵🇦个shared 6️⃣exp🐄💤ert + 38🐠4个ro🛷uted ex📝🧜♂️perts，每🚎toke☠↕n激活6个😝👩🏭。一套看似优🎻雅的后训练方法论™，背后是一🇧🇳堆「不这样做就装🇮🇹不下」的📛🗂工程妥协👔🖥。
因此，用🛹👩🔧一个小模型☢完成这项预估任务👨👩👧，在逻🤨辑上是合理🧞♂️🎂的，而且在实验🌁中也确实🍴🔖有效🚰。在此过程中，它找🖤到了在 ID 📖👨👨👦👦阶段实现提📋👜前转发的方法，并💰🚵♀️实现了一个具有😛📝 4 个🦔平衡阶段的快🇫🇷👪速 Bo🛑oth-Wa♐llace👩🏫⛹ 乘法器，这🔙些阶段👨🦲🚹体现了熟练设计师🇬🇵🙎♂️所知的最常📼见的并行形🖐🇸🇳式🇹🇰👩👩👧。
