“代碼拖更?”網友把作者掛上網

代碼拖更”的經歷,不知你遇到過沒?就是你看上了一篇論文或者項目,作者聲稱代碼會開源或者已開源,但你左等右等,每天查查GitHub,代碼就是一直沒發布……reddit上一位網友就遭遇了這種經歷,還是在他三番五次聯繫原作者的情況下。無奈/一怒之下,他就把作者和論文掛網上了。

“代碼拖更?”網友把作者掛上網

“代碼拖更?”網友把作者掛上網

結果這一現象引起了網友們熱烈的討論,還把“涉事”作者給“炸”出來了!

聲稱代碼開源卻遲遲不更新

據發帖網友陳述,“涉事”論文是NeurIPS 2020的一篇有關自動駕駛的論文。

當時他覺得很有意思,順着文中給出的代碼地址點進去,發現倉庫居然是個“空殼子”。

“好吧,應該是還沒來得及更新”,他心想:那就fork一下,過幾天再來看。

然而他等啊等啊,代碼一直都沒有發布。

他看到有其他人也在評論區“催更”,他自己也嘗試電郵聯繫作者們(包括學生和PI),但都沒收到回復。

終於,去年11月份就提交到arXiv的論文,在今年4月更新代碼倉庫了!

——但,更新的只是自述文件,只說代碼即將發布。

然後幾個月過去了,那已成了該倉庫最後一次更新

“代碼拖更?”網友把作者掛上網

而這位網友也終於聯繫上了作者,卻得到了這樣的回應:

論文實際上是基於經驗的改進,沒有有效代碼來複現結果。

這下這位網友可是真的炸了:“我等了你們這麼久,付出了巨大的努力聯繫你們。不發布就不發布,一開始就別承諾啊,也更不該‘玩失蹤’啊。”

他表示,他知道這種“聲稱開源卻實際並未發布代碼”的事情在機器學習論文中越來越多

當他實驗室的本科生問他“為什麼我應該如此費力地整理代碼併發布,而別的人早已開展下一個有趣的項目去了”時,他也沒法兒解釋。

事情不應該是這樣

我強烈地認為這種事情必須被改變,而且只有我們說出來,這種現象才能被改變。

於是,也就有了前文我們看到的這篇論文被掛在網上“社死”的事情。

誰之過?應該怎麼辦?

看到這個帖子,許多網友的第一反應確實是:這不新鮮啊。

CVPR 2019都還有篇論文的代碼現在還沒發布。原作者還親口告訴我有代碼且已上線呢……”

不過,這不排除有人是在論文被接收后又偷偷刪除鏈接的……

畢竟,有網友指出,有人不發就是因為擔心自己“透露”的太多,被別人反超成果……

emmmm……

當然,更普遍的也可能是自己的代碼遇到問題了,不過:

“Paper + Bad Code >>>> Paper + No Code。”

許多人表示,論文能公開代碼還是要公開,即使有錯誤、別人跑不起來,但也盡量發出來,大家還可以做逆向工程——畢竟總比啥都沒有強。

而關於不發布代碼的原因,這裡面還出現了“對於你來說開源代碼可能就是30分鐘的事兒,但有人真的很忙需要耗費數周才能完成,所以你不該責怪他們”的論調,但顯然他沒有抓住本次事件真正的問題所在

不能開源代碼的情況會有,可以原諒,但你不應該把“代碼已在X發布”寫在論文中。不誠實才是最大的問題。

“代碼拖更?”網友把作者掛上網

而另一邊,網友也把矛頭指向了評審

“我已經說過很多次了,會議/期刊/審稿人應該確保論文中提到的代碼是真正發布了的。”

許多人一致認為先不提有沒有驗證代碼是否能復現,沒有復現代碼能過審就讓人費解,所以給復現代碼掛了個空倉庫的論文一開始就應該被拒稿,審稿人應該好好把關。

不過說是這麼說,有人算了算:

ICLR今年收到了大約3400篇提交,每篇論文應該有4條評論,所以總共需要13000+條評論。而一個好的評審總共需要4-5個小時在一篇論文上

這需要耗費的時間不敢想象,但審稿又是“義務勞動”,你“審的好”不會給你帶來什麼附加收益,對你找工作、升職加薪什麼的也不會有幫助,所以……

那你可能會說,付費評審吧。

但這不且提每小時約100美元的市場價格帶來高得離譜的成本,有的人給錢他都不一定有那麼多時間呢。

“代碼拖更?”網友把作者掛上網

再扯遠點,最不缺的是審稿人,而是真正有水平的審稿人。

所以也就發生了太多空代碼論文“鑽空子”的情況。

不過,也不是完全沒有辦法。

有網友支招,面對那種承諾已有代碼實際就是沒有的,可以把它提交到下面這個網站

“代碼拖更?”網友把作者掛上網

會有人專門幫你聯繫作者,其審核嚴格,也會顯示每篇論文的處理進度。

“代碼拖更?”網友把作者掛上網

從申請理由中,我們也可以看到,代碼有問題的論文也可以提交的。

良心網站。

“涉事”論文作者被“炸”出來了

令人沒想到的是,原帖網友私下三番五次聯繫不上“涉事”論文作者,發了這個帖子后,倒是一下子把他“炸”出來了。

“代碼拖更?”網友把作者掛上網

他首先道歉,表示自己剛剛進入一家公司工作很忙,沒有及時跟蹤到這篇論文的郵件。

承諾在最近的NeurIPS之前會發布代碼,到時大家有啥問題就可以問他了。

還給出了代碼用到的數據集來自哪篇論文以及根代碼庫的鏈接。

(0)
上一篇 2021-11-13 16:19
下一篇 2021-11-13 16:30

相关推荐