作者丨張小珺
出品丨騰訊新聞《潛望》
中國大模型經歷了短暫沸騰以後，一部分人驟然冷靜下來。在過去1個月，行業已悄然分化。前Google科學家、出門問問創始人兼CEO李志飛就是其中之一。
1個月前，他率先聲稱要做“中國OpenAI”，但現在，他卻說：“中國是不是存在一個跟OpenAI一樣的這種組織？我覺得大概率不存在。”
他說：“真正像OpenAI那樣探索AI天花板的鳳毛麟角，複製一個OpenAI未必有必要。”
他還說：“你就算做了一個AGI（通用人工智能）又怎麼樣，更重要的還需要make AGI accessible。”
在過去短短1個月，一部分沸騰着的大模型創業者心態經歷了巨幅轉變。李志飛回憶說，對大模型達到狂熱頂峰期，是他剛過完年赴美國考察的時候。在硅谷，學院路有個Blue Bottle，他穿過咖啡館走廊，耳邊接連聽到一大串chat、chat、GPT、chat、ChatGPT……那段時間他每天5點就醒了，感覺多睡一會兒都在浪費生命；逢人便聊大模型，“每天喉嚨都是啞的”。
這次到美國，他帶着三個疑惑：一，ChatGPT背後革命性的技術是怎麼做出來的？二，為什麼是OpenAI，而不是他的前東家Google帶來這一歷史性時刻？最後，大模型壁壘有多高？為了一探究竟，他約見了OpenAI、Google、DeepMind、Amazon、Meta等一系列工程師。
對於第三個問題，他在當時得出了過於樂觀的結論：大模型壁壘極高。但隨着他回國、ChatGPT在國內爆火，巨頭、大佬和資金瘋狂湧入大模型領域——很快，這個結論破滅了，大模型的壁壘和門檻被踏得粉碎。
大模型的供給比他想象得多太多。不管是互聯網巨頭，還是原有人工智能企業，抑或大佬帶資入局，都在快速為這場大模型平台之爭備戰。在中國，似乎一夜之間遍地是大模型。據李志飛預估：“中國1-2年以後，你會看到50家以上公司做大模型。”這場平台之戰太過於慘烈。
在此背景下，一部分大模型創業者在過去1個多月回歸了平靜。這波人選擇了一條更現實、也能與原有業務相結合的路徑。李志飛只是其中一位。
有投資人說，他們的一個顧慮是，李志飛如何妥善安排自己10年的創業公司、對原有股東負責，然後另起爐灶？“這個我先聲明一下。”李志飛回應稱。現在他的想法是，在出門問問基礎上，一方面做大模型底層能力，另一方面做基於大模型的各種應用，且公司已有業務閉環基礎。他們目前暫無融資訴求。
“我其實是希望勸一些人不要去做大模型，”他說，“與其現在就匆匆忙忙跳進去做通用大模型，不如多想想我做出了通用大模型以後又怎麼樣。”
“包括大佬們。他們可能走進了一個，他們不知道是什麼、也不一定像他想象中擅長、最後也不一定是喜歡（的地方）。”
以下是對李志飛的訪談節選。為了方便閱讀，我對文本進行了一些優化。
01突然的轉折
騰訊新聞潛望：今年2月，為什麼和王慧文、真格投資人吃了那頓飯？
李志飛：吃飯是因為他們提到老王也要做AI，我挺好奇。大家對OpenAI很興奮。但至於怎麼做，什麼時候中國能做出來沒有清晰概念。大家聊更多是想能怎麼做。
要花多少錢？入門門檻什麼樣？當時我說至少需要5,000萬美金——2,000萬美金買算力，2,000萬美金招人，1,000萬美金標數據。
騰訊新聞潛望：有沒有互相給offer邀請對方加入公司？
李志飛：有。但大家有不同做法。
騰訊新聞潛望：接下來你準備怎麼做？
李志飛：我的想法做了很多改變。當時我覺得壁壘極高，早期投入非常大，最後能做或者願意投入的沒幾個。但通過過去這1-2個月去看，很多東西都變了。
首先做的人會很多。大家太快達成共識，這是未來10-20年最重要的一件事。其次，這個事難度取決於你怎麼做。如果你要像OpenAI或Google做最牛的模型，探索AI天花板，非常難。但如果你跟自己的或你想做的場景結合，難度會大幅降低。包括有開源模型，算力本身英偉達發布了更厲害的計算平台——從算力、算法、數據各層面，難度會降低。
所以一方面供給多，另外一方面如果不是探索能力天花板，難度沒那麼大，導致做法有很大調整。你可能就沒必要一開始單獨做個公司，融很多錢，招最厲害的人，在與世無隔的環境憋12個月。以前我想的是那種。現在還是基於自己的投入和應用落地，快速把模型做起來，迭代使用場景。
騰訊新聞潛望：你想法轉變是什麼時候？
李志飛：（吃完飯）之後一個多月。
騰訊新聞：中間到底發生了什麼？從雄心壯志就要做中國OpenAI、探索AGI，轉變得更現實。
李志飛：興趣和商業是兩回事。這不代表我不能探索AGI。探索特別難的事有兩種方式：一種從零開始，是突變式；另一種是漸進式。現在對我最好的方式是基於出門問問這種漸進式。
騰訊新聞潛望：還會做“中國OpenAI”嗎？
李志飛：中國的OpenAI是個偽命題。大家都知道完全複製OpenAI非常難，甚至他們自己都不一定能重複。這裡邊很多不確定，所需資源體量龐大。中國是不是存在跟OpenAI一樣的組織？我覺得大概率不存在。你就算做了一個AGI又怎麼樣，更重要的還需要make AGI accessible，把AGI變成可用的東西。我們可以在這方面做很多探索。
騰訊新聞潛望：你認可Robin（李彥宏）說中國不需要第二個大模型嗎？
李志飛：中國肯定需要很多大模型，但是不是有能力做類似OpenAI這樣探索人類天花板的模型，我不確定。我一直在強調，做大模型不只一條路。
能笑到最後的也不知道是誰，甚至哪怕在全世界，OpenAI也不一定笑到最後。今天我對它的商業模式還挺悲觀的。
騰訊新聞潛望：我昨天見一個投資人，他說大多數創業者另起爐灶，想看看志飛怎麼選。他們在等你的下一個項目。
李志飛：不。這個我先聲明一下，是在出門問問基礎上，一方面做大模型的能力，另一方面有各種應用。
我們從2020年8月就開始做大模型和應用，差不多做了8個月，但局限於學術研究和商業模式的探索就停了。這之後，去年9月我去了一次美國，又把大模型重啟，我們當時想做文案產品，類似Jasper.AI，因為看到GPT-3最適合乾的是寫文案。很幸運我們已經做了好幾個大家叫AIGC的產品，有AI配音和寫文案的。
騰訊新聞潛望：你們大模型的參數和算力大概是什麼規模？
李志飛：我們就幾百億。
它更加manageable。你做一個萬億的模型，有的時候真的只能祈求上帝，機器不要掛掉。
02這輪AI核心是構建了大一統模型
騰訊新聞潛望：從你最早讀自然語言處理的phd，到進入Google翻譯實驗室，再到現在，這個技術經過了哪些迭代？
李志飛：十幾二十年前，我在約翰霍普金斯讀博，實驗室叫CLSP，創始人是語音識別之父。現在大家對語言模型了解，當時是很小的學術圈，全美做語言模型的phd同一年就幾個。2010年畢業我去了谷歌翻譯實驗室，工作不到三年。2012年回國創業。
2005到2012年，Google用大規模數據訓練語音識別和機器翻譯系統，開放給普通用戶。在這以前，研究是靠美國軍方項目支撐。2005年後，Google把它變成消費產品，我們相當於黃金時代的phd，用大數據、統計做機器翻譯和語音識別，特點叫符號主義。
到2012年，分佈式計算的紅利基本沒了。我在Google很痛苦，隨便怎麼加數據，準確率都不會提升，有時反而降低。Google把大數據、分佈式計算用到極致了。
2012年到現在最重要的是深度學習，它跟符號主義不一樣。跟以前的模型比，它容量更大，潛在天花板更高，對數據學習能力更強。以前很多模型學習數據是表面的pattern，比如兩個詞同時出現、出現頻繁，我認為他們之間要麼是翻譯關係，要麼是上下文關係。但深度學習通過10年發展，它能對數據做很多抽象。規模也比以前大——以前用幾千萬或者幾億的token，現在可能10萬億。
總結來說，深度學習時代后，模型的表達能力、吸取數據的抽象能力、分佈式訓練能力，相比2012年當時到瓶頸的時候有幾十倍或幾百倍提升。
騰訊新聞潛望：ChatGPT在哪些技術革新了，導致和過去10年的AI不一樣，同時帶來了爆發？
李志飛：核心是通用。以前語音識別的系統專門一個團隊做，機器翻譯專門一個團隊做。以前在我們學校，做機器翻譯的人在計算機系，做語音識別的人在電子工程系。Google也一樣，做機器翻譯的人跟做語音識別的人是不同團隊——他們有單獨訓練的數據，單獨的代碼系統。
大模型，當然現在還沒做到，但未來它可能做語音識別、圖像、機器翻譯、回答你所有問題，陪你聊天，甚至做蛋白質結構預測——它可能是大一統的系統，做到以前每個需要單獨訓練一個系統的能力。這是為什麼叫它通用人工智能。
騰訊新聞潛望：現在達到AGI了嗎？還是只是逼近？
李志飛：微軟前陣子寫過一篇文章，GPT-4是AGI的火花，我比較同意。通用的智能無非是第一通用，第二要有高度抽象的能力，第三有規劃能力。
騰訊新聞潛望：對於ChatGPT，你作為一個內行人的Aha moment是什麼？
李志飛：以前AI系統，你去問它一些抽象的東西，推理或者故意騙它，它只在網上找相對應的文本形成答案。你知道它笨在什麼地方。但ChatGPT你有強烈感覺：在跟有智商的人聊天，它理解你在說啥，還能跟你繞。
騰訊新聞潛望：所謂的“自監督”，我可不可以通俗一點理解，把孩子扔到海里游泳，他不需要我們看着他就能自己學會。
李志飛：不需要比喻也容易理解。就是基於前面的詞，預練下個詞是什麼。所謂的自監督是因為互聯網是序列文本，我們現在正在“聊天”，當我說“聊”，後面有個“天”。互聯網上有海量文本，可以自監督預測下個詞。
每次AI預測，如果輸出是“天”，跟文本對上了，系統給獎勵；如果輸出是“話”，這個不對，系統給懲罰。所謂自監督是互聯網文本每一步都給了監督的信號，但為什麼又叫自監督？因為這個數據不是被標出來的。不像以前，我做機器翻譯，我要提供一句中文，然後標註一句英文；或者做語音識別，提供一個音頻文件，然後標註一個對應文字。現在你從互聯網上就能收集數據。自監督是每預測下個詞，數據都給你反饋，告訴你錯了還是對了。
03硅谷見聞實錄：為什麼是OpenAI而不是Google？
騰訊新聞潛望：春節后你馬上動身去了硅谷，那段時間發生了什麼，在那待了多久，有什麼收穫？
李志飛：當時對我來說，ChatGPT太神奇、太厲害了。第一，我很想知道到底怎麼做出來的，原理是什麼？第二，為啥是OpenAI做出來，而不是Google？第三，壁壘多高？
我帶着這些問題跟很多人聊。聊完答案是，第一沒人知道這怎麼搞出來的，技術原理是啥，為啥它突然有這麼強的能力。包括OpenAI的人也沒有清晰答案。很多深度學習的問題不可解釋、不可操控。
騰訊新聞潛望：為什麼是OpenAI而不是Google搞出來？
李志飛：如果高度簡單化這個東西，我覺得主要幾點：
第一OpenAI成立就一直目標是做AGI，Google很多人不太相信——就覺得這可能是學術騙子，甚至當你說你要做AGI，我覺得你不知道你在說啥。你看在GPT-2的時候，OpenAI就說我要做通用，我不是去做那些比如pre-training，然後fine-tunning，收斂到具體任務的系統。它跟Google的信仰不一樣。
第二，在GPT-3后，它是產品驅動的AI研究，這跟Google或別的組織不一樣。別的要麼是偏學術的研究——一幫人做出一個系統，寫一篇論文，弄個PR，又去干別的了；要麼是像DeepMind是項目制，AlphaGo做一做，又做AlphaZero，又做AlphaFord。它不是product-oriented的迭代。
騰訊新聞潛望：DeepMind怎麼遴選項目？
李志飛：有偶然有必然。必然是他們做遊戲出身，認為通過深度學習去學怎麼打遊戲，最終實現通用AI，這是DeepMind人的信仰。
從執行路徑，先找一些限定場景，比如下棋不涉及很多人的交互。它規則、邊界清晰，數據乾淨，但同時足夠難，有代表性。
騰訊新聞潛望：嗯，第一是信念，第二是產品驅動，還有第三點嗎？
李志飛：很多時候，有的人只對研究有興趣，有的人只會做產品，有的人只願意做工程。但能有一批人對三個都有興趣，相互能協作，這也是重要因素。
2020年6月GPT-3開放給用戶后，獲得了很多用戶反饋，通過反饋收集數據，通過數據又去迭代系統，然後重新給用戶，效果越來越好。它已經悄悄幹了兩年半。Google就沒有這麼一個系統在線上。
騰訊新聞潛望：最後你的第三個問題，壁壘是什麼？
李志飛：那一刻我是覺得大模型壁壘極高。我跟很多人聊之前，覺得Google應該很快就搞出來了；但聊完，我意識到這個模型跟以前的壁壘不一樣，有比較長的訂貨交付時間（lead time）。
首先你要花很多算力算，管你再厲害，如果你沒有那麼多卡，在這麼大的數據量算過，模型就出不來。第二，模型的結構，包括數據的收集和清洗，需要時間積累。第三，這個實際是實驗的科學，我用很多台機器，基於這個模型、數據的格式，我去調，調完后看結果，每做一個實驗都要花很多時間。
它類似於造硬件。不是說兩個月後另一個人立馬就可以造出同樣的iPhone。
騰訊新聞潛望：預計周期是多長？
李志飛：至少比如6個月8個月以上。哪怕對Google這樣的競爭對手。
騰訊新聞潛望：你當時跟Google的人聊，跟OpenAI的人也聊，OpenAI的人怎麼看Google，Google怎麼看OpenAI？
李志飛：這個我倒沒太注意。算力、數據、人，某種程度上Google可以碾壓OpenAI。Google更大的問題是內部組織形態。在跨部門，Google的研究部門和業務部門是分開的，比如跟Youtube、搜索、雲業務分開，調動數據、資源，甚至把產品上線都不是容易的事。在部門內部，太多聰明人，每個人有自己的想法、自己相信的方法論。這都是OpenAI不存在的情況。
有時一個競爭對手比你強10倍，但在這種高度不確定性的事上，它不一定能打得過你。
04在中國創業的現實和真相
騰訊新聞潛望：大模型時代到底給我們會帶來什麼，從今天往後看10年有什麼樣的預演？
李志飛：人類最引以為傲的是通過語言承載的認知。ChatGPT已經有很強的認知能力。這會導致有幾個後果。
第一， 它讓我們產生強烈信心，當認知問題都能解決，很多感知問題小菜一碟。
第二， 很多人講 AI大模型是生成式，這是巨大的誤導。ChatGPT這種認知模型，能力是全方位，比如它有很強的理解能力、分析能力、生成能力，甚至有不錯的規劃能力。它的應用遠超語言。未來5-10年，我想不到什麼領域不會被這個影響。
騰訊新聞潛望：現是iPhone時刻還是瀏覽器時刻？
李志飛：這個我跟別人爭論過，我認為是后iPhone時刻。通過過去10年，人類很多東西高度數字化了，每個人有手機，手機聯網，手機內存、觸摸屏、通訊、GPS能力非常好。我們等的是智能時代的爆發。現在智能有巨大突破，為什麼不覺得它是iPhone后時刻呢？
騰訊新聞潛望：你們屬於從上一代AI創業的時代走過來，上一代AI公司的共同挑戰包括哪些？
李志飛：商業模式不行，投入很高、產出很低，所有公司陷在商業化糟糕的狀況里。
騰訊新聞潛望：現在呢？
李志飛：現在好的方面是AI應用場景遠超上一代，需求可能是以前的十倍、百倍。
但大模型出來后，在太短的時間內所有人達成了共識。壞的地方是供給可能也是上一代的10倍，所以會讓很多現在做AI的公司，還是像上一代一樣比較痛苦。
對行業、社會當然是好事，但對player，共識太強，競爭會非常激烈。我曾經說過一個觀點，中國1-2年後你會看到50家以上的公司做大模型。這裡面做法有不同。真正像OpenAI那樣探索AI天花板的鳳毛麟角，複製一個OpenAI未必有必要，我們可以做中國式創新的大模型。
騰訊新聞潛望：大模型時代的killing app在哪？
李志飛：大模型empower killing app能力已經ready，更多是大家能做出什麼樣的應用，用戶怎麼去接受它。
騰訊新聞潛望：大模型這個領域，它是能誕生新的巨頭，還是說它是原有巨頭的疊加？
李志飛：肯定會有新公司。最後能跑出來公司可能是垂直整合的，自己找一個主應用場景，收集用戶的數據，同時也訓練自己的模型，不停迭代。純粹依賴於第三方的模型，不僅壁壘很難建立，而且很難快速迭代。
騰訊新聞潛望：創業10年有什麼比較難的時候？最近的困難是什麼？
李志飛：沒有一天不難的。最近面臨著很大壓力。一方面是機遇；另一方面，競爭無處不在，太多聰明人在裡邊琢磨，會讓我有時產生一種——我會不會miss掉這一波機會，我能不能在大的浪潮里立住的感覺。好多人很焦慮，都覺得自己有可能被顛覆掉。無論是有業務的，還是沒業務的。
我會越來越輕鬆點。焦慮也沒用，還不如抱着長期主義心態。很明顯，未來5年、10年、20年有太多可創新的地方，也許抓不住這個小機會，就能抓住另一個。你這一刻被更聰明、更努力的人超過了，並不代表你不能下一刻抓住，只要你覺得是長期的事。
騰訊新聞潛望：創業10年你的性格變了嗎？
李志飛：肯定是性格大變。
騰訊新聞潛望：你以前接受採訪經常提到狂妄，講話也會流露強烈的表達——你以前會說：“我只是要求非常正規的融資，正規到純潔無瑕。”還會說：“看到這個世界正在被我瞧不起的人推向我不喜歡的世界，我非常痛苦。”
李志飛：我不喜歡給自己打臉，有一些東西我說了做不到，或者是因為無知而說的，我會調整。
2012年人家問我說：“怎麼跟某度競爭”？我說：“某度是什麼東西？”通過10年在中國創業，你發現人家很厲害，不能欺騙自己對吧？明明知道這個東西不是這樣子，還去忽略它，這是不求真。現在行為、說話方式有變化，是因為我看到了很多真相。
騰訊新聞潛望：國內競爭的真相是？
李志飛：從競爭維度，中國是美國的10倍。怎麼得出來的？中國創業供給是美國的2倍，美國客單價是中國的5倍，乘起來是10倍。我是覺得超級有道理的。
騰訊新聞潛望：你今年的目標是什麼？
李志飛：我希望我每天思考的問題和與大家聊的話題，超過70%內容跟這相關。
騰訊新聞潛望：對當下這波在中國做大模型創業的人，有什麼想說的嗎？
李志飛：我其實是希望勸一些人不要去做大模型。這跟我個人競爭沒有任何關係，我跟他們沒有任何衝突。
我覺得你貿然進入，難度很大，商業競爭激烈。你現在做的是一個非常通用的大模型，但你沒有仔細想過，最後落地在什麼場景下？商業模式怎麼做？與其說現在就匆匆忙忙跳進去做通用大模型，還不如多想想做出了通用大模型以後又怎麼樣？
兩個月以前，我就是要複製ChatGPT，但現在我覺得不想清楚商業模式到最後會很痛苦。
本文鏈接：https://www.8btc.com/article/6813174
轉載請註明文章出處