幾年前，斯坦福大學博士生AndrejKarpathy做了一件令AI社區非常敬佩的事情：在學校里創辦了一門深度學習本科課程，並且將視頻全部免費公開。作為深度學習的早期研究者和教育者之一，Karpathy賭對了方向。
文/杜晨
經過十多年的快速發展和技術創新，現在深度學習技術已經驅動着搜索、圖像識別、社交網絡、工業自動化、自動駕駛等諸多關鍵領域和產業。
由於研究成就突出，Karpathy自己也成為了應用AI技術發展的受益者，走出學術進入業界的第一份工作，就是特斯拉的特斯拉出任AI部門總監，領導 Autopilot以及整個特斯拉自動/輔助駕駛技術項目的研發，並帶領公司深入到了機器人等更多前沿領域。
上個月，Karpathy宣布從特斯拉正式離職。
當人們還在關注他下一站要去哪，他卻毫無意外地“重操舊業”，當起了“老師”。
/把“鎚子”交到每個人的手上 /
就在上周，Karpathy重新啟用了註冊了多年但從沒用過的 YouTube“小號”，發布了一條長達2個半小時的教學視頻，題為《手把手帶你入門神經網絡和反向傳播：構建micrograd”》。
他表示，關於反向傳播（神經網絡的基礎算法之一）以及構建神經網絡的工作，這條視頻是目前為止門檻最低、最全面的講解。他還宣稱，只要觀眾對 Python有基礎了解，並且還記得一點高中水平的微積分，就可以輕鬆入門：
“如果看完還不了解反向傳播和神經網絡的核心，那我就直播吃鞋”
圖片來源：AndrejKarpathy
通過這門課，Karpathy用基本的Python編程方法，以及他自己開發的Micrograd引擎，帶着大家完成神經網絡構建、編寫損失函數、手動調優等基礎操作，並且在過程中對反向傳播等關鍵知識進行了系統的介紹。
至於授課風格，Karpathy也是非常理解當代年輕工程師在寫代碼時候的煩惱，貫徹了“talkischeap，showmethecode”的理念：整堂課的大部分時間基本就是在直播自己的屏幕畫面，手把手教大家寫代碼……
圖片來源：AndrejKarpathy/YouTube
Karpathy曾在多倫多大學、斯坦福大學就讀，師從的GeoffHinton、李飛飛教授都是當今深度學習的領軍人物。他也是OpenAI的創始成員之一，曾在早期的Google大腦、GoogleResearch、DeepMind等知名研究機構實習。
作為深度學習領域的知名學者和從業者，Karpathy出鏡相當頻繁，經常在 CVPR、NeurIPS 等知名學術會議的上發表論文和演講，還曾作為英偉達Geforce技術大會主演講嘉賓。
頗為搞笑的是，在2014年，他曾經以自己的“血肉之軀”，在ImageNet挑戰賽上對一個卷積神經網絡發起了挑戰，並且獲得了勝利，因此被學術界和行業里戲稱為ImageNet的“人類基準”（thehumanbenchmarkofImageNet）。
圖片來源：AndrejKarpathy
然而很多人對Karpathy印象最深，最感激他的，反而是他在博士就讀期間做的一件大善事：
創辦了CS231n，斯坦福第一門面向本科生的深度學習課程。
圖片來源：AndrejKarpathy、斯坦福大學
CS231n以計算機視覺為主要方向，深入淺出探討深度學習技術，創課第一年就有總計150名學生報名，到了2016年翻了一倍，次年又再翻了一倍。目前這門課已經成為了斯坦福校內所有院系裡報名人數最多、最受歡迎的課程之一。課程的TA都有16人；和Karpathy一起創課的李飛飛，至今仍在擔任主講人。
更重要的是，從創課的第二年，Karpathy 就把CS231n的授課視頻、講義、作業、筆記等大量相關資源全部公開，放在互聯網上。不止是報名的學生，就算沒報名上的、其它院校的學生，乃至於世界上的任何人，只要有網絡，就可以免費上課。
再往前推五年，隨着Udacity、Coursera等公司的成立，“慕課”（MOOC）的理念早已廣為人知。在這些知名公司的平台上，也有着不少計算機科學和機器學習方面的課程。
然而CS231n的橫空問世，特別是它更加先進和實時的課程設計，以及沒有任何商業味道的開放屬性，使其成為了前沿深度學習技術向全社會普及的關鍵節點。
圖片來源：AndrejKarpathy、斯坦福大學
關於為何要免費開放課程，Karpathy曾經表示，自己在當時非常強烈地感覺到深度學習將會成為具有巨大革命性意義的技術，有望在社會的各方各面得到廣泛運用，就像一把好用的鎚子。
但是在當年，很多人連鎚子都“買不起”，更別提了解它的能力和掌握它的用法——是他決定站出來，做這個給大家免費發放鎚子的人。
這門課最有意思的體驗，在於它沒有一個提前定好、絕不偏離的課程設置：
“別的科目上課，講的可能是19世紀的知識。在我們的課上，經常今天講的論文是上周，甚至昨天剛剛發表的，”Karpathy說到，“我們講的不是核物理，不是上太空，你只需要基本的微積分和代數知識，就可以聽懂我們的課程，了解和掌握當下正在發生的新事物。每次的課程都在改變，感受非常不一樣，但是大家都非常享受這樣的體驗。”
由於創課當時Karpathy還是一位博士生，當老師確實佔用了他大量的時間和精力。每年教兩次，每次四個月，一到上課的那段時間，他都不得不開動120%的精力，甚至博士學位的相關研究工作都不得不停擺。
“儘管如此，我還是覺得這門課是我讀博期間的高光時刻。”
AndrejKarpathy 圖片來源本人
如果簡單瀏覽一遍Karpathy的履歷，一般人可能不會以為他是一個教學型的學者。但實際上他真的特別熱衷於傳道授業解惑，特別是給大家分享他本人的學習結果，和掌握技能的獨特經驗。
他曾經以博士生過來人的身份寫過一些經驗談，發表在斯坦福官網以及個人播客上。比如對於本科生備戰考試，他真誠告誡大家“熬夜不值”、“多找多換TA”、“備考初期自學，考前多交流”等。而對於糾結是否讀博的學生，他專門寫過一篇“博士生存指南”萬字文，從前期準備、導師選擇、研究課題、著述發表、學術演講等諸多方面，分享了大量的指導思想和具體經驗……
圖片來源：AndrejKarpathy
如果你以為他只講深度學習，那就太小看人家了：
對於非本專業的內容，他也會用自己的業餘時間，做長期、系統性的研究和測試，然後寫成文章。比如他在GitHub賬號上曾經寫過一篇“生物黑客”的文章，分享了自己在體育鍛煉、斷食、血液檢測、體能藥物、睡眠研究等方面做過的測試經驗。
少為人知的是，Karpathy還是一個專業的魔方老師……
在解魔方這件事上他有一個alter ego，名叫 Badmephisto。他有一個專門講授魔方知識的網站，做過一個教你如何解魔方的app（iPhone&Android），還在YouTube上傳了大量教學視頻，總共有900多萬觀看量……
老哥可真是上課上癮啊……
Karpathy在Google實習期間內部渠道搞到了一台GoogleGlass，錄製了這段在自行車上解魔方的視頻 動圖來源：AndrejKarpathy
/AI大佬都愛講課 /
值得注意的是，不止Karpathy，深度學習/AI領域的大佬級別人物，都特別愛“講課”。
這麼說確實有點廢話文學了……因為這些大佬當中，很多人本身就在知名院校有着常規或終身教職，一部分進入工業界的人士，之前也有很強學術和教學背景。但他們即使現在在工業界身居高位忙到不行，仍然對深度學習知識的傳播和普及充滿熱情。
比如Karpathy在多倫多大學的老師GeoffHinton教授。他是反向傳播等深度學習核心算法的發明人，深度學習領域的“三劍客”之一，圖靈獎獲得者。有這樣一種對於他的評價：當其他人還在質疑機器/深度學習的時候，Hinton在多倫多一邊默默地教書，一邊持續着研究推進，終於以一己之力復活了機器學習研究和行業，堪稱深度學習之父。
自從創立的DNNResearch公司於2013年被Google收購，Hinton在Google一直有職位，但實際上他的主要研究工作還是在多倫多大學的計算機科學系。雖然近年來他已經不怎麼講常規課程了，但他仍然會花很多時間和精力，指導學生研究和參與論文寫作。並且，他也參與錄製了一些深度學習神經網絡方面的免費網課內容。
截圖來源：Coursera
“三劍客”的另外兩位成員YoshuaBenjio和YannLeCun，也有各自的教職。
Bengio是蒙特利爾大學教授，也創辦了Mila人工智能研究所並擔任科學總監。他至今仍在學校和Mila研究所帶領和指導着大量的研究生、博士生和博士后研究員。他經常參加各種外部機構的演講和授課邀請，之後的視頻也都會公開在網上。
LeCun在Meta擔任副總裁兼首席AI科學家，還是紐約大學電氣和計算機工程系教授。他曾經誠懇地表示過，自己可能沒有辦法及時查收和回復學校郵箱和電話留言。不過，至少去年他還在紐約大學的數據科學中心（NYU-CDS） 教深度學習的相關課程。另外因為疫情等原因，NYU-CDS 的所有由LeCun教授的深度學習課程，在2020年也都完全線上化並免費公開了：
視線轉回國內，前幾年離職回校教書的原騰訊AILab主任張潼，也是一個有趣的例子。他是機器學習領域知名的國際專家，曾經在美國大學拿到終身教職，在IBM研究院、雅虎研究院、百度IDL擔任研究和管理方面的高級別職位，還是ICML、NIPS等一系列國際頂級學術會議的主席或領域主席。
然而可能是因為更享受教書和學術界的環境，張潼在2019年初離開了騰訊AILab，來到了港科大數學系和計算機科學工程系，直接就拿到了專為特別傑出且成就非凡的學者才設立的講席教授（chairprofessor）資格。
當然他也沒有完全離開業界，在港科大和創新工場之間牽線搭橋，幫助兩家機構成立了聯合實驗室，專註於基礎科研。現在的他，在港科大做研究、帶學生，這一學期還教了COMP6211E和MATH6450J兩個和機器學習優化相關的課程。
這些熱愛傳道授業解惑的頂尖學者讓我們看到：即便在高度商業化的今天，一項技術、一種知識，仍然可以通過教育這種古典的形式，加上“免費網課”的創新手段，來完成更高效、更具公益性的普及。
這樣的大佬們，請多來點，不要停。