原文標(biāo)題：《AI 頂會(huì)審稿人竟是本科生？女理學(xué)家發(fā)推吐槽，圈內(nèi)佬紛紛點(diǎn)贊》最近，一來(lái)自洛桑聯(lián)邦理工學(xué)院école polytechnique fédérale de Lausanne (EPFL)）的女物理學(xué)家 Lenka Zdeborova 在推特上吐槽頂會(huì)的審稿人篩選機(jī)制引發(fā)了眾多學(xué)術(shù)圈大佬鳴。你以為的學(xué)術(shù)頂級(jí)議期刊審稿人，都是來(lái)各自領(lǐng)域的大牛？事實(shí)，你辛辛苦苦幾個(gè)月做研究論文，審稿人很有能是一群本科生或研究？最近，來(lái)自洛桑聯(lián)邦工學(xué)院（école polytechnique fédérale de Lausanne (EPFL)）的女物理學(xué)家 Lenka Zdeborova 就在推特上吐槽頂會(huì)的審稿機(jī)制。研究生院的申請(qǐng)就已經(jīng)有頂會(huì)審稿經(jīng)驗(yàn)而且數(shù)量還不少。我正審查 EPFL 計(jì)算機(jī)科學(xué)研究生院的申啟，看到許多申請(qǐng)人都有擔(dān)頂級(jí) ML 會(huì)議審稿人的經(jīng)驗(yàn)，我想知道如果行評(píng)議的很大一部分是本科生完成的，我們?yōu)?么還要費(fèi)心去進(jìn)行同行議！？Lenka Zdeborová 是 EPFL 的物理學(xué)和計(jì)算機(jī)科學(xué)教授，貳負(fù)領(lǐng)導(dǎo)計(jì)機(jī)學(xué)院的統(tǒng)計(jì)物理學(xué)科她是 Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference 等眾多學(xué)術(shù)期刊的編委。Lenka 擅長(zhǎng)的領(lǐng)域是將統(tǒng)計(jì)物理學(xué)的念（例如高級(jí)平均場(chǎng)方、復(fù)制方法和相關(guān)消息遞算法）應(yīng)用于機(jī)器學(xué)、信號(hào)處理、推理和優(yōu)中的問題。一些圈內(nèi)人也表示贊同，研究生一級(jí)的學(xué)生竟然已經(jīng)可以頂會(huì)審稿，而且沒有人得這是個(gè)問題。你以為審稿人是這些學(xué)界大佬事實(shí)上其實(shí)是他們帶的科生或研究生......知乎答主「卡卡卡卡比」認(rèn)為這種現(xiàn)象已經(jīng)是空見慣了，從 ICLR 到 AAAI, 審稿人的水平參差不齊，保齊你的 paper 就落到了某個(gè)本科生手里抱怨完審稿人水平之后關(guān)鍵還是要思考如何能寫出讓大家 make sense 并且能兼顧大多人審稿 taste 的工作。來(lái)源：卡卡卡卡比另一位答主「歇斯里 i」也認(rèn)為，審稿人很少懂你的領(lǐng)域，所以要把論文的結(jié)果清晰明地呈現(xiàn)出來(lái)，讓別人看懂就是你的問題了。來(lái)：歇斯底里 i頂會(huì)審稿到底怎么審那么驕山會(huì)審究竟怎么審？同行評(píng)審Peer-review）是現(xiàn)代科學(xué)的基石，乎所有機(jī)器學(xué)習(xí) (ML) 頂會(huì)（如 NeurIPS、ICML、AAAI）都依靠它來(lái)決定提交的論宋史是否與社區(qū)相，以及原創(chuàng)性是否足以那里發(fā)表。不幸的是，著過去十年提交文章數(shù)呈指數(shù)級(jí)增長(zhǎng)，審稿質(zhì)也以同樣快的速度下降如果您曾經(jīng)向其中一個(gè)議提交過論文，在為您為是一個(gè)絕妙的想法而力工作了幾個(gè)月之后，得到的是糟糕的、無(wú)用，而且（更糟糕的是 ) 具有諷刺意味的評(píng)論意味著你將彘山得不重新經(jīng)一次提交過程，而沒有何關(guān)于你的論文存在什問題的提示。圖靈獎(jiǎng)獲者 Geoffrey Hinton 在 2018 年接受 Wired 雜志采訪時(shí)給出了造成這種情況的原因之一現(xiàn)在如果你提交的論文一個(gè)全新的想法，它根就沒有機(jī)會(huì)被接受，因這些年輕的初級(jí)審稿人本無(wú)法理解?；蛘咚鼤?huì)到一位高級(jí)審稿人，他閱了太多的論文，第一看并不理解，并認(rèn)為它定是胡說八道。我認(rèn)為真的很糟糕。知乎答主光幻影煉金術(shù)對(duì)審稿被做了個(gè)假設(shè)，如果你發(fā)你的論文因?yàn)橐恍└拍?題審稿人沒理解被給了分，有三種可能：（1）審稿人是個(gè)本科生 / 低年級(jí)博士生，他看不這些概念。（2）審稿人是個(gè)超級(jí)大佬，沂山很重基礎(chǔ)概念問題，并且他經(jīng)不做這個(gè)領(lǐng)域多年。3）審稿人是個(gè)超級(jí)大佬，但他沒有時(shí)間，他交了他的低年級(jí)博士學(xué)生審稿。所以說，學(xué)術(shù)圈是一個(gè)輪回，本科生的現(xiàn)和超級(jí)大佬最像。你為理想中的審稿人：周打開論文，看看摘要，讀一遍，評(píng)估一下 novelty。周二細(xì)細(xì)看方法，挑挑毛病。少昊三一下實(shí)驗(yàn)，看看 baseline 的相關(guān)論文，查對(duì)實(shí)驗(yàn)細(xì)節(jié)。周四始寫審稿意見，決定審分?jǐn)?shù)。周五補(bǔ)充一些審意見，提交審稿分?jǐn)?shù)。際審稿人：周一上午八打開審稿論文，讀了讀要，感覺沒什么 novelty。看了看圖片，感覺不看正文看巫彭明白翻到后面看了看實(shí)驗(yàn)數(shù)，感覺提升也不大?？?方法，四頁(yè)好多看不完下午還有事，給個(gè) 5 分走人吧。周一上午十點(diǎn)半結(jié)束審稿工作。我再來(lái)看看 ICML2022 的審稿規(guī)則：選題意義：這槐山分評(píng)審的目是向 MR（Meta-reviewer）和作者展示您對(duì)這篇論文的解程度以及您對(duì)這篇論的看法。寫作創(chuàng)新性、關(guān)性、重要性：它們與們的社區(qū)相關(guān)嗎？它們新的嗎？如果答案是否的（或部分否，例如，用早期論文中的精確結(jié)），則需要一個(gè)精確的由，以便作者知道如何復(fù)論文。健全性：理想況下，一篇論文提出的張應(yīng)該得到理論論據(jù)或驗(yàn)結(jié)果的充分支持。寫質(zhì)量：這篇論文是否組良好并且寫得很清楚？是否很好地解釋了新穎和結(jié)果？該論文是否包支持其聲明所需的足夠息？參考文獻(xiàn)：這篇論是否被恰當(dāng)?shù)刂糜诋?dāng)代學(xué)中？如果沒有，請(qǐng)具說明缺少的內(nèi)容。請(qǐng)注，由于論文有頁(yè)數(shù)限制因此通常需要判斷是否提及結(jié)果。而這些屬于一階段審稿人的審核標(biāo)，符合審核標(biāo)準(zhǔn)的則可進(jìn)入第二階段。通過第階段的論文，會(huì)再經(jīng)過審稿人（MR）、項(xiàng)目主席過目，之后還會(huì)有額的審稿人來(lái)確保論文審質(zhì)量。而為什么現(xiàn)在的會(huì)審稿人的水平參差不，甚至冒出了一群本科和研究生，原因主要在行業(yè)發(fā)展太快，投稿量增加速度遠(yuǎn)高于合格審人的培養(yǎng)速度。這不僅致有能力審稿的人占比了，而且有能力的審稿人對(duì)每篇文章能投入的間也少了。參考資料：https://towardsdatascience.com/reviewing-for-machine-learning-conferences-explained-f73bc037babchttps://twitter.com/zdeborova/status/1612841482192388098https://www.zhihu.com/question/461564257/answer/1908243034、本文來(lái)自微信公眾號(hào)新智元 （ID：AI_era）