（来源：上观新闻）
”这其中，需要🥊涉及大😼量的沟通🐂🧘♀️工作，工程师需要🏕⏹明确自己到底想🚫要什么，并表☹达出来🚴♀️🛏。最近大⛓家又都在😪💜研究 o🇵🇷n-policy🎤🌲 dis🛷🎀till🧐📋ation，但🙇各家做法🍓差别很大🐋🎒。补充一点🚶♀️，Kimi 也🏴刚刚在 3🌻🎠 月初提出了🐞🎰 Attenti🇧🇩🗳on Res🛐📯idu🏖✌al，它有🐫点像 ⛏DenseNet🍠🚙（主要用于💺🙍 CN✖N 卷积神经📆网络的🧙♀️一种密集连接结🐰构，每层🐠与之前所有🌨🤽♂️层直接连接），🦸♂️🇵🇲直接跨层相连，第🇴🇲一层可以直📱😿接影响最后一层💂♀️🐀。
所以可以🇨🇵看到，Kim🧱i 的🙉🇼🇫 K2 只💣🏒在数据并行（d🎦◼ata🦠 para⚱llelis🍨m）层面做切🇵🇲🌩分，没有🇩🇯在张量🦓❣并行上做切👩🚀分🚞。这类问题往往无🕙法靠增加自动化测🌞试来预防，因为🔠🌧你不知道老代⚙🍋码那边有多少行为🇫🇮是设计如🆑🇧🇱此、有多✏少是曾经↘🦐的 bug🥄 被当成了 🇸🇪feature🖱。
